图像搜索：给你爬的美女图建一个搜索引擎

2019-11-17 22:13:37

写在前面

最近测了一下SPTAG这个近似最近邻搜索工具，打算拿一个东西先测测练练手，于是就想到了可以把之前的美女图建一个索引，看看能不能搜到想要的美女图。

需要用到的环境有以下：

首先是准备好美女图，这里是我很久以前爬的一些图，一共接近1万张。

如果没有的话，这里提供一下Google Drive下载链接：https://drive.google.com/file/d/1shZ3gx9nHPHUgylsZIrvWliwCh9TucAo/view?usp=sharing。解压密码：nladuo。

然后接下来是对图片做一些预处理，这里我主要打算做的并不是整个的图片搜索，整个图片的搜索会比较麻烦。我这里只做人脸的搜索。

这里通过face_recognition这个库，把只有一张人脸的图片保存下来，并提取人脸，然后放到mongodb里面。

1 2	cd MMFinder/data_preprocess python3 filter_images.py

这里过滤出来9477张图片

接下来是要把图片转换成一个向量了，也就是特征工程。因为我本身也不做图像，所以不是很了解具体方法，大概查了一下，传统的方法有SIFT，现在的话就是神经网络了。

如果是一般的图，就用ImageNet训练好的提取最后一层的vector作为特征就好了。这里我找到了一个专门做人脸识别的一个预训练模型：https://sefiks.com/2018/08/06/deep-face-recognition-with-keras/，准确度应该会更高一些。

模型的话就是VGG，最后一层是一个维度为2622的向量。通过处理，这里将所有的人脸转换成一个2622长度的vector，然后保存到mongodb中。

1 2	cd MMFinder/data_preprocess python3 feature_extraction.py

接下来是建立最近邻的索引，也叫dense-index，在文本搜索引擎中，我们一般用的是TF-IDF，属于sparse-index，也就是倒排索引。而dense-index一般是图结构的索引。

为什么要建索引呢？

其实就是加快搜索速度，如果正常情况下，我们搜索一张图，其实需要和数据库中的9477个向量都算一遍相似度，才能得到精确的相似度排序。这个时间复杂度是O(N)的，看起来不高，但是每次搜索，都是O(N)，假设有1亿张图片，那不知道要等到哪年。

有了索引之后，可以保证搜索结果在固定的时间O(C)内返回，如果还慢，加机器就好了。

关于索引的选择，我这里使用的是SPTAG，因为这是一个高效可扩展的最近邻搜索系统。类似的系统还有facebook的faiss。安装步骤可以见我上一篇文章：Docker下SPTAG的安装与测试

这个安装起来其实还是比较麻烦的，如果想跑着玩儿，也可以看看scikit-learn里面的KDTree，LSH等做近似最近邻搜索的方法。

安装好Docker下的SPTAG之后，这里先将所有的图片数据导出成SPTAG规定的输入格式。

1
2
3

cd MMFinder/index_construction
python3 export_SPTAG_indexbuilder_input.py
docker cp mm_index_input.txt （你的容器ID）:/app/Release/

然后将导出的数据放到SPTAG-Docker容器里，通过indexbuilder建立索引。

1 2	docker attach （你的容器ID） ./indexbuilder -d 2622 -v Float -i ./mm_index_input.txt -o data/mm_index -a BKT -t 2

建立好索引之后，启动搜索的rpc服务。

1	python3 SPTAG_rpc_search_service.py

接下来可以进入查询测试了，如果是mac用户可以安装imgcat工具，在命令行就能查看图片。

1	python3 search_test.py

效果如下，感觉还是可以的

最后是把各个模块整合一下，编写上传，搜索接口，形成一个完整的应用的Demo。

1 2	cd web_demo python3 main.py

效果如下：

2019-11-17 22:13:37