体验地址见文末

opus

查找和#冰墩墩相似图片，这种应用是如何实现的？？

首先，我们需要了解图像搜索引擎所采用的AI是哪一类型的。

shadow

图像搜索属于认知类的AI应用，具备高准确率。此类技术由于深度学习的飞跃式发展，准确率已经超越了人类。

认知类的AI有许多应用：内容定位（音乐搜索、图像搜索）、人脸识别（不怕脸盲）、文本-语音转换、机器翻译（不用查字典）等等。

此类应用弥补了人类在认知能力上的能力不足（缺陷）。因为没有人可以在海量，比如1TB或者1PB的数据中找到自己想要的数据。人类查看一条条数据，当数据量成千上万的时候，效率开始低下；反而机器，不会疲劳，而且计算速度非常快，可以短时间阅读海量数据，找到自己需要的数据。

拓展阅读：普林斯顿大学Arvind Narayanan发表的一个关于AI应用的演讲ppt

《How to recognize AI snake oil》

# 体验设计

确实，从海量的数据中找寻到用户想找的数据，此类应用已经具备了较高的准确率；但是仍然有一些设计上的问题需要解决，我们如何帮助用户把想找的数据的模样描述清楚，清楚到机器可以准确理解。需要体验设计师好好思考这个问题，粗暴的解决方案就是通过表单的方式，把各种选项让用户填写，尽量是通过选择题的方式（但这并不是一个优雅、简洁的方案）。

如何把用户的需求转化为机器语言，这是体验设计需要重点考虑的问题。

# 反向图像搜索

Reverse Image Search

反向图像搜索允许用户在互联网上找到最相似的图片。可以按图片、关键字或图片的 URL 进行搜索，常用来寻找现有图片的原始出处，或者低分辨率缩略图的原始大图，或者是查找来源。

Reverse image search allows you to find the most similar pictures over the internet. You can search by image, by keyword, or by the URL of the picture to find photos, memes, profile pictures, and wallpapers along with their sources.

包括我们常说的以图搜图（比较优雅的名称叫可视化搜索） 让你能够使用图像替代文本在 Web 中搜索。你可以使用图像查找相同的图像及产品、查看其他网站，甚至还可以获取食谱。

以图搜图有这些应用：电商搜同款、图片搜索、安防监控、药物检索、盗版检测、纺织面料、视频摘要、艺术创作……

# 案例/灵感

下面分享几个案例和灵感：

[ 这是什么动画 ]

一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图，并找到动画的详细介绍，动漫爱好者找动画出处的好帮手！

作者在遇到 LIRE 的12个小时后就开发出了第一个原型。在设置好 Web 服务器和 Solr 之后，只需要编写几个脚本来将所有代码放在一起。为了分析视频，作者使用 ffmpeg 将每个帧作为 jpg 文件提取，每帧的时间作为文件名。然后利用 Lire 的 ParallelSolrIndexer 分析所有这些图像并生成一个 XML 文件。在将此 XML 加载到 Solr 。最后，作者写了几行简单的 Javascript 来使用 Solr REST API 用于搜索图像。

Lire 是 java 语言基于 lucene 的框架，支持使用 Solr ，而 Solr 是一个高性能，采用 Java5 开发，基于 Lucene 的全文搜索服务器。Solr 有相关的 NodeJS 库，对于 NodeJS 开发者也是非常友好的。

创建以图搜图引擎的步骤相当简单，基于 opencv 的一些传统图像算法，提取颜色和纹理特征，例如图像的颜色、轮廓、直方图等信息，作为相似性搜索的索引。Lire 还内置了中文分词&模糊搜索功能，比起传统的基于关键词搜索，搜索效果更佳。

LIRE于2021.4.23 宣布停止维护更新

- End of Life reached for LIRE .This project is no longer maintained. I want to thank all those who helped, found kind words of support, and cited LIRE in their academic work. dermotte/LIRE: Open source library for content based image retrieval / visual information retrieval. (github.com)