基于知识蒸馏的跨模态哈希

作者:王锦荟; 金露; 李泽超; 唐金辉
更新时间:

由于计算和存储的高效性,哈希被广泛应用于大规模跨模态检索。现有的跨模态hash方法分别生成单模态数据,忽略了模式内部和模式之间的上下文信息,不能充分挖掘多媒体数据的潜在相关性信息,本文提出了一种基于知识提取的alpin方法。首先,利用基于Transformer的教师网络从图像和文本数据中获取模式内和模式间的上下文信息,然后获得包含丰富视觉语义相关信息的联合表示,并将联合表示投影到低维汉明空间,获得高分辨的二元哈希码,该方法利用知识提取技术将教师网络学习到的多模态数据的潜在相关信息传递给学生网络,从而最大程度地保留学生网络生成的多模态相关信息。该方法在MIRFLICKR-25K、全国大学和MS coco数据集上得到验证。实验结果表明,该方法的跨模态检索性能优于当前主流方法