MiduCMR | 跨模态信息检索与数字媒体的智能碰撞-网络知识

近日，数据智能应用服务商蜜度midu.com发布了人工智能前沿应用成果——跨模态检索引擎MiduCMR，实现从数据融合到实际应用的重大突破。

MiduCMR利用跨模态对比学习、语义融合、语义表征、语义检索等技术，实现了跨模态视频打标签、相似视频检索、场景识别等一系列解决方案，为政企与媒体数字化转型提供场景化的数据智能服务。跨模态信息检索与数字媒体如何产生“化学反应”？

跨模态信息检索 – 多模态信息交互的桥梁

何为“跨模态信息检索”？“跨模态信息检索”通常指从互联网的全媒体多模态信息中，提取视频、音频、图片、文本内容并对其进行单模态理解和多模态融合。

例如以文本搜图片、音视频，以图片搜文本、视频，以音频搜文本、视频等，其难点在于自动理解、关联不同模态数据之间的关键要素，并实现相对准确的交叉匹配。

善用跨模态信息检索 – 全媒体助跑工具

智能媒体时代，媒体形态较从前有了颠覆性转变，信息传播系统亦不断更新迭代。在复杂多变的环境下，媒体工作者如何应对网络中海量的碎片化信息，如何兼顾媒体内容生产者与媒体信息传播者的二重身份，成为一大挑战。

MiduCMR跨模态信息检索，以“一己之力”让媒体工作者实现高效信息交互，助力媒体资源整合。

信息精准溯源事件真伪辨别

如何快速、准确地聚焦热点话题及背景信息，是媒体从业者跑赢信息发布速度的一大关键。然而，碍于信息传播误差、事件地点距离过远等多种因素，如何追溯真实准确的信息源，是业内普遍存在的难题。

而利用MiduCMR能够通过对事件画面的文字描述，即刻获取网络上流传的相关图片及视频信息。例如，此前引发公众关注的“旅游景点众多游客”事件，快速获取事件相关素材只需一键检索：

从图中可见，不过8秒钟，MiduCMR即检索到全网几百条相关数据，涵盖相关文本、图片、视频等模态，同时呈现出各模态内容数据量，并对各平台的发布信息作出发布渠道、发布时间、发布地点等标记。

这也意味着，媒体工作者不仅能够通过MiduCMR获取素材，还能了解到信息短时波及范围、信息发布主要集中地，甚至追溯信息来源，为了解事件的来龙去脉、验证事件的准确性及真实性提供重要依据。

海量素材搜索激发创作灵感

在媒体内容创作过程中，与文字适配的图像对于内容塑造、提高读者视觉感受均有重要作用，而在网络中捕捉“脑海中的幻想画面”，也是一次与搜索引擎间的情感对话。

但是，基于对情感语义的处理区别，一些常用的搜索引擎难以完全命中搜索场景的关键元素。例如，“女孩在青青草原中看夕阳西下”这个场景，包括女孩、草原、夕阳三个要素。部分常用搜索引擎往往只命中其中1-2个要素，加大了图片搜寻的难度，产生更多时间成本。

而MiduCMR基于强大的跨模态信息检索能力，准确解析文本、图片、视频中的字幕、背景、封面等特征元素，以三大搜索特征打破与搜索引擎之间的“交流障碍”。

一是搜索结果精度更高。在同样的搜索词下，MiduCMR展现的图片与视频消息同时命中“女孩、草原、夕阳”三个画面要素。

二是搜索方式更加广泛。上传画面图片，即可检索出更多近似场景的图片与视频，突破以往仅能通过文字传达画面的局限，以视觉对话视觉，帮助缩小素材搜寻范围，明确视图需求，提升搜索效率。

三是情感识别度更准确。MiduCMR能够通过对文字语义的情绪分析与识别作出相应的信息匹配，例如，“飞流直下三千尺”的搜索结果展现出瀑布景致的宏伟壮观，“月落乌啼霜满天”的搜索结果则传递了诗句背后夜晚的孤寂与忧愁。

传播效果评估作品侵权洞察

面对众多热点选题及媒体内容，如何制定有效的内容及广告投放策略，如何作出正确的媒介采购选择，种种“传播组合打法”是媒体从业者普遍面临的选择题，分析与评估发布内容在各平台的传播效果尤为重要。

通过MiduCMR上传原创图片或视频，检索全网发布过相似内容的平台及账号，根据搜索结果标记的信息发布平台及互动情况，爆款内容及引爆平台一目了然。
更重要的是，MiduCMR还能成为发现作品侵权、创意抄袭等问题的“重要利器”。在MiduCMR中上传原创文本、图片、视频或音频，得到作品全网应用场景及近似场景，无论是原创图片被加塞进视频中，还是视频原音被加工成音频，亦或是视频文案被复制粘贴成文章……MiduCMR都能第一时间检索到这些“抄袭动作”，维护版权利益。