CLIP如何用文本实现零样本图像分类
AI 总结
掘金人工智能教程介绍,CLIP通过将候选类别编码为文本提示,并选择与图像向量最相似的文本完成零样本分类。文章依次讲解图像与文本编码、L2归一化、余弦相似度、温度缩放和Softmax,并提供OpenCLIP基础分类及Prompt Ensemble代码。文章同时指出,候选集合、类别名称和提示模板都会影响结果,而闭集选择可能被迫匹配不合适的类别。
深度见解
这篇教程提供了一条可直接实现的CLIP零样本分类路径,同时说明提示词与候选标签本身就是分类器的重要组成部分。
一句话理解:CLIP 并没有学习一个固定的“猫狗分类器”,而是把类别写成文本,再判断当前图像与哪段文本最匹配。
上一篇《CLIP 的训练机制:从对比学习到图文对齐》介绍了 CLIP 的训练过程:图像经过 Image Encoder,文本经过 Text Encoder,模型通过对比学习把配对的图文拉近、把不匹配的图文推远。
但训练完成之后,这个模型究竟怎么用于分类?
传统分类模型通常需要预先确定类别,并为这些类别训练一个固定的分类头。CLIP 却可以只看类别名称,直接识别训练阶段没有专门标注过的新任务。这种能力被称为 Zero-shot Classification(零样本分类)。
这一篇,我们就从推理过程出发,看看一组普通的文本描述,是如何临时变成图像分类器的。
一、什么是零样本分类?
假设现在有一张图片,我们希望模型判断它属于下面哪个类别: