Volume 2,Issue 7
基于多模态对比学习的短视频虚假信息早期识别方法
短视频虚假信息早期识别面临信息不完整与模态关联模糊的双重困境。多模态对比学习通过拉近同一样本跨模态表示、推远不同样本表示，能够有效捕捉模态间一致性线索。针对短视频发布初期的稀疏模态特征，构建多粒度对比学习框架，分别从实例级、模态级与时序级强化特征可判别性。提出跨模态对齐机制与轻量化快速推理策略，在公开数据集上验证了该方法在早期识别时效性与准确性上的优势。实验结果表明对比增强特征显著提升了虚假信息检测的鲁棒性。
[1]Yan F ,Zhang M ,Wei B , et al.FMC: Multimodal fake news detection based on multi-granularity feature fusion and contrastive learning[J].Alexandria Engineering
Journal,2024,109376-393.
[2] 张永成, 魏小梅, 王欢, 徐荣康. 一种不确定模态缺失的多模态对抗虚假新闻检测框架[J]. 中文信息学报,2024,38(06):151-160.
[3] 段钰潇, 胡艳丽, 郭浩, 谭真, 肖卫东. 改进的跨模态关联歧义学习的虚假信息检测方法研究[J]. 计算机科学,2024,51(04):307-313.
[4] 李卓远, 李军. 基于对比学习的多模态注意力网络虚假信息检测方法[J]. 中国科技论文,2023,18(11):1192-1197.
[5]Yang Y ,Ran B ,Weili G , et al.Deep visual-linguistic fusion network considering cross-modal inconsistency for rumor detection[J].Science China Information Sciences,2023,66(12): DOI:10.1007/S11432-021-3530-7.