Milvus 向量数据库实践 - 1_miluvs

假定你已经安装了docker、docker-compose 环境

参考的文档如下：

        Milvus技术探究 - 知乎

         MilvusClient() - Pymilvus v2.3.x for Milvus

         一文带你入门向量数据库milvus

一、在docker上安装单机模式milvus数据库

     1、 进入milvus官网： Install Milvus Standalone with Docker Compose Milvus documentation

     2、 复制并执行以下执行命令：            

# 下载docker-compose文件
wget https://github.com/milvus-io/milvus/releases/download/v2.3.10/milvus-standalone-docker-compose.yml -O docker-compose.yml
 
# 执行docker-compose 
sudo docker compose up -d

     3、查看应用是否全部成功启动了：docker ps -a     

     4、 执行docker-compose命令后，可能会出现 milvus-standalone 服务无法正常启动的情况，此时可长时间更改 milvus 的版本后再试试

      5、安装 milvus 的可视化操作控制台：Attu

 
# MILVUS_URL 是 milvus的连接地址，这个不重要，因为在可视化控制台可以修改 
docker run -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.3.0

      6、浏览器打开：http://192.168.3.32:8000/

         7、预先创建一个collection，方便接下来用代码来测试实际效果        

二、使用python 测试图片的向量存储与检索：

   注意：实际使用发现 使用ResNet50模型更加方便一点，主要是dimension的维度不会特别大，milvus的向量维度最大支持：32768。 而使用MobileNetV2模型的话，提取的图片向量特征的dimension为62720。所以为了方便运行代码，体验milvus，直接使用ResNet50模型。

  1、直接上代码

import tensorflow as tf  
from PIL import Image  
from tensorflow.keras.applications.resnet50 import ResNet50, preprocess_input  
from tensorflow.keras.preprocessing import image  
import numpy as np  
from pymilvus import MilvusClient
import os  
  
# 初始化Milvus连接  
milvus_client = MilvusClient(uri='http://192.168.3.32:19530')  
  
# 创建一个集合来存储图片向量  
collection_name = 'image_vectors'  
vector_dim = 1000   #向量维度
field_name = 'vec'  #向量字段
 
# 加载预训练的ResNet50模型  
model = ResNet50(weights='imagenet', include_top=True)
 
# 提取图片向量
def getFilefeatureVector1(image_path):  
    img = image.load_img(image_path, target_size=(224, 224))  
    img_array = image.img_to_array(img)  
    img_array = np.expand_dims(img_array, axis=0)  
    img_array = preprocess_input(img_array)  
      
    # 使用模型提取特征  
    feature_vector = model.predict(img_array)  
    feature_vector = np.squeeze(feature_vector, axis=0)  
    return feature_vector;
 
 
# 待测试图片的文件夹目录
image_folder = '/data/files/milvus/'  
 
# 遍历文件夹下的所有图片，提取特征并存储到Milvus  
def saveFileFeatureVector():
    i=1
    for filename in os.listdir(image_folder):  
        image_path = os.path.join(image_folder, filename)
        print(filename)
 
        # 获取向量  
        feature_vector=getFilefeatureVector1(image_path)
 
        print(feature_vector)
 
        # 将特征向量插入到Milvus集合中  
        insert_data = [{'id':i,'fileName':filename,field_name: feature_vector.tolist()}]  
        milvus_client.insert(collection_name, insert_data)  
        i=i+1
 
 
# 用特定图片的向量特征从milvus中查询相似的图片
def searchFile():
    # 取测试一张测试图片，获取到其向量特征后，作为查询条件
    image_path = os.path.join(image_folder, "IMG_20210716_212727_edit_1565328531531.jpg")
    # 获取向量  
    feature_vector=getFilefeatureVector1(image_path)
    search_params = {"metric_type": "L2", "params": {"nprobe": 10}}
 
    results=milvus_client.search(
        collection_name=collection_name, 
        data = [feature_vector],
        limit=6, # 查询6条
        offset=0, # 当该参数不为空的时候，为分页查询，配合limit使用，下标从0开始
        output_fields=["fileName"],
        search_params= search_params
    )
 
    for hits in results:
        # get the IDs of all returned hits
        # print(hits)
 
        for hit in hits:
            # get the value of an output field specified in the search request.
            # dynamic fields are supported, but vector fields are not supported yet.    
            print(hit)
        
  
    
#
print('开始打印')
 
# 第一步，保存图片向量数据到milvus中（数据初始化成功后，可以注释掉该方法）
saveFileFeatureVector()
 
# 第二步，用指定图片的向量特征查询相似图片
searchFile()
 
# 关闭Milvus连接  
milvus_client.close()

  2、saveFileFeatureVector 保存图片特征没有保存的时候，我们可以直接在Attu控制台查看数据集        

3、用使用 指定特图片来查询与其相似的图片执行结果        

4、本地电脑待测试图片的文件目录