第94章 显而易见的局限(3 / 4)

投票推荐 加入书签 留言反馈

  “肖神风格,符合人设。”
  “我喜欢,不浪费时间。”
  讲台上,肖宿已经点开了ppt第一页。
  標题很简单:“群作用下的特徵空间统一表示”。
  “传统多模態学习的问题在於,不同数据类型的特徵空间是异构的。”
  肖宿的声音通过麦克风传遍讲堂,清晰而平静。
  “图像用卷积神经网络提取特徵,文本用transformer,语音用梅尔频谱。这些特徵向量维度不同,结构不同,度量不同。强行融合就像把苹果和橘子加在一起算总数,没有意义。”
  他在白板上画了两个不相交的圆圈,分別標註“图像特徵空间”和“文本特徵空间”。
  “我的思路是,引入群论作为统一框架。”
  肖宿切换ppt,出现了一个复杂的数学结构图。
  “所有数据模態,经过编码器映射到同一个群表示空间。在这个空间里,图像旋转、文本语法变换、语音时移,都可以看作群作用。”
  台下,姚毅智院士眼睛一亮,迅速在笔记本上记下几个关键词。
  “关键在於对称性约束。”
  “每个数据模態都有其內在对称性。”
  “图像有旋转、平移、缩放对称;文本有语法、语义对称。”
  “自监督学习的目標,是在保持这些对称性的前提下,解耦出独立的特徵因子。”
  他调出了一段代码演示。
  屏幕上,一个简单的神经网络正在训练,输入是未標註的图像和文本对,输出是解耦后的特徵向量。
  “训练过程中,系统会自动发现不同模態特徵之间的对应关係。”
  肖宿指著屏幕上的损失函数曲线。
  “这是群等变约束损失,这是特徵解耦损失。两者结合,就能实现跨模態的自然对齐。”
  钱卫华院士身体前倾,盯著屏幕上的公式。
  他是搞超算出身的,对算法效率极其敏感。
  而肖宿展示的这个框架,计算复杂度明显低於传统的多模態融合方法。
  “具体到实现细节……”
  肖宿开始深入技术核心。
  接下来的三十分钟,他像拆解精密的机械一样,將整个群论框架一层层剥开。
  从李群在流形上的作用,到特徵空间的纤维丛结构,再到自监督信號的构造方法……
  讲堂里的气氛开始变得有些微妙。
  前十几分钟,大部分学生还能勉强跟上,毕竟肖宿讲得深入浅出,而且还用了很多直观的比喻。 ↑返回顶部↑

章节目录