Queryable-在iphone上使用CLIP进行照片搜索
Jul 16, 2023
工具分享
Queryable可以在手机上使用自然语言离线模糊搜索照片。
特点
Queryable是一个开源的iOS应用程序，利用OpenAI的CLIP模型在相册中进行离线搜索。Queryable使用自然语言语句搜索照片。离线运行，隐私友好。
原理
这个工具基于CLIP模型，CLIP的原理是将所有相册照片使用CLIP Encoder进行编码，计算图像向量并保存它们。对于每个新的文本查询，使用Text Encoder计算相应的文本向量。比较此文本向量与每个图像向量之间的相似性。排名并返回前K个最相似的结果。
项目使用的是CLIP ViT-B/32模型微调，使用中文效果会差点。
平台
声明
本文仅作为工具分享记录。
本文永久记录于区块链博客xlog。