第622章 九章之上，再攀一天（2 / 6）
“图像上你感受不到这个问题。”
顾屿把笔盖盖上，转过身面对任少卿。
“因为一张照片里，猫的耳朵和猫的眼睛挨得很近，它们天生就在一个局部窗口里。卷积核天然適合干这个活。”
“但如果有一天，你要处理的东西不是图片呢？”
会议室里安静了几秒。只有中央空调出风口的微弱嗡鸣声。
“比如一篇文章。”
顾屿说。
“比如一整本小说。第一章的伏笔，要到最后一章才回收。中间隔了几十万字。你的卷积核要滑多少次才能把它们联繫起来？”
任少卿没有接话。
顾屿没有急著往下说。
他把马克笔放回白板槽里，走回座位坐下，端起桌上已经凉透的茶杯喝了一口。
给任少卿留消化的时间。
大约过了半分钟，任少卿开口了。声音比之前低了半个调。
“你的意思是，卷积这个操作本身，在某些任务上存在结构性的缺陷。”
“不是缺陷。”
顾屿纠正他，
“是边界。每种工具都有它的边界。锤子钉钉子很好使，但你不能拿锤子去拧螺丝。”
任少卿沉默了更久。
然后他抬起头，眼睛里的光变了。
不再是匯报实验成果时那种兴奋的亮，而是一种更深的、带著困惑和渴望的光。
“那如果不用卷积呢？”
顾屿等的就是这句话。
“你想像一下这样一种结构。”
顾屿的语速放慢了，像是在帮对方一起画一幅还不存在的蓝图。
“一个序列里有十二个字。每一个字，都能同时看到其他所有十一个字。不需要一层一层地滑窗口，不需要一步一步地扩大感受野。每个位置直接和所有位置產生联繫，然后自己决定，我该重点关注谁，忽略谁。”
任少卿的第一反应是脱口而出的。
“计算量会爆炸。”
紧接著他的眉头皱成了川字，
“而且这不符合逻辑。如果不靠卷积的滑动窗口，也不靠循环网络的先后顺序，模型怎么知道这句话的语序？我爱你和你爱我，在这种每个位置同时交互的结构里，权重会变得完全一样，位置信息彻底丟失了！”
顾屿眼底透出讚赏。 ↑返回顶部↑
顾屿把笔盖盖上，转过身面对任少卿。
“因为一张照片里，猫的耳朵和猫的眼睛挨得很近，它们天生就在一个局部窗口里。卷积核天然適合干这个活。”
“但如果有一天，你要处理的东西不是图片呢？”
会议室里安静了几秒。只有中央空调出风口的微弱嗡鸣声。
“比如一篇文章。”
顾屿说。
“比如一整本小说。第一章的伏笔，要到最后一章才回收。中间隔了几十万字。你的卷积核要滑多少次才能把它们联繫起来？”
任少卿没有接话。
顾屿没有急著往下说。
他把马克笔放回白板槽里，走回座位坐下，端起桌上已经凉透的茶杯喝了一口。
给任少卿留消化的时间。
大约过了半分钟，任少卿开口了。声音比之前低了半个调。
“你的意思是，卷积这个操作本身，在某些任务上存在结构性的缺陷。”
“不是缺陷。”
顾屿纠正他，
“是边界。每种工具都有它的边界。锤子钉钉子很好使，但你不能拿锤子去拧螺丝。”
任少卿沉默了更久。
然后他抬起头，眼睛里的光变了。
不再是匯报实验成果时那种兴奋的亮，而是一种更深的、带著困惑和渴望的光。
“那如果不用卷积呢？”
顾屿等的就是这句话。
“你想像一下这样一种结构。”
顾屿的语速放慢了，像是在帮对方一起画一幅还不存在的蓝图。
“一个序列里有十二个字。每一个字，都能同时看到其他所有十一个字。不需要一层一层地滑窗口，不需要一步一步地扩大感受野。每个位置直接和所有位置產生联繫，然后自己决定，我该重点关注谁，忽略谁。”
任少卿的第一反应是脱口而出的。
“计算量会爆炸。”
紧接著他的眉头皱成了川字，
“而且这不符合逻辑。如果不靠卷积的滑动窗口，也不靠循环网络的先后顺序，模型怎么知道这句话的语序？我爱你和你爱我，在这种每个位置同时交互的结构里，权重会变得完全一样，位置信息彻底丟失了！”
顾屿眼底透出讚赏。 ↑返回顶部↑