milvus单机性能测试

• 测试背景：
  业务需求要使用向量检索库，milvus是新开源的检索库，由C++编写，支持docker，k8s分布式拓展，0.6.0版本新增表分区等新功能。官方的介绍很接地气，生态类似elasticsearch。es7.4也增加了向量的欧式L2距离等检索功能，阿里也开源了部分es向量检索插件，但是milvus可以GPU+CPU也是优势，这次就来测试一下单机性能。
• 测试材料：

1. 1000w向量入库milvus（先前已经往milvus中写了将近1000w的向量）
2. 100w检索向量(现在取本地在sqlite中的100w条向量用于检索压测)
3. milvus-cpu-0.6.0
   4.Ubuntu18.04+docker+i5 4560CPU+16G内存(实际配置了milvus上限4G)

cache_config:
  cpu_cache_capacity: 4             # GB, CPU memory used for cache, must be a positive integer
  cache_insert_data: false          # whether to load inserted data into cache, must be a boolean

• 测试代码：

import sqlite3,time
import base64
import numpy as np

from milvus import Milvus, IndexType, MetricType, Status
milvus = Milvus()
milvus.connect(host='192.168.2.116', port='19530')

con = sqlite3.connect('soutu.db')
cursor = con.cursor()

test_feat = cursor.execute("""select feature from imgsearch where feature is not null limit 1000000
                    """)
con.commit()
s = time.time()
cnt = 0
time_cost = []
for item in test_feat:
    cnt += 1
    feature_str = item[0]
    feature_float = np.frombuffer(base64.b64decode(feature_str),np.float32).tolist()
    status,res = milvus.search_vectors(table_name='hznz', query_records=[feature_float], top_k=10, nprobe=512)
    if cnt%1000==1:
        s_child = time.time()
        
    if cnt%1000==0:
        cost = (time.time()-s_child)
        time_cost.append(cost)
        print(cnt,cost,'s')
e = time.time()
print("100W total cost {}s time.".format(e-s))
con.close()

• 测试过程：

1. 平均检索1000条64维的向量耗时24~25s。

   
   
   过程

2. 机器负载：
   milvus自动开启了26个进程。CPU4个核心跑了50%左右还是比较均衡。内存占了3.2G左右(去掉系统毛重)，是默认的4G*80%=3.2G的配置。

   
   
   负载