快手科技李岩：多模态技术会改变人机交互方式，会使信息分发更高效

第二，我认为多模态技术会带来新的内容形态，原来接入信息更多是从文本、页面中获得，现在有视频，未来可能还会有AR或者其它的形式。我觉得多模态AR很重要的一点就是强调沉浸感，这种沉浸感其实是通过听觉和视觉综合作用才能产生的。

第三，我认为多模态亟需新的算法和大型的数据，因为这两者可能会是一个某种意义上可以相互折算的问题。以目前的机器学习算法来讲，需要海量的数据才能解决好这个问题，因为现在深度学习、内容理解的成果，某种意义上是监督学习的成果，有足够的样本、算力，所以现在的算法能力基本上还停留在对算力和数据有着非常大要求的阶段。而多模态的大型数据是非常难建的，而且多模态解的空间是更大的。因为一个模态解的空间是n，另外一个是m，它最后是一个乘积、一个指数级的变化，所以数据集要多大才足够是一个很难的这个问题，可能需要新的算法来对这个问题进行建模。

关于快手多媒体内容理解部门

快手多媒体内容理解部门（Multimedia Understanding）简称MMU ，团队由近百名算法工程师、应用工程师构成，聚焦多媒体内容的理解与应用。在内容理解方面，MMU主要通过对人脸、图像、音乐、视频四个维度实现对多媒体内容的感知，并融合感知内容和知识图谱，实现对视频高层语义及情感的理解，从而让机器高效看懂海量内容。目前，多媒体内容理解部的核心技术服务于内容安全、原创保护、视频创作、视频推荐、视频搜索及商业化等方面。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!