第620章 深度学习变天了（4 / 5）
“你的模型在做大量无效计算。”
“让模型只用它需要用的那部分脑子去思考。”
当时他以为那只是一个外行的模糊直觉。
但现在他回过头来看，那个十八岁的少年说的每一句话，都精准地指向了这个领域未来五到十年的核心命题。
残差连接解决了深层网络的训练问题。
但那个少年想要的，显然不止於此。
任少卿盯著那面光墙，脑子里像打开了一扇被堵住很久的门。
五十层的残差网络证明了一件事：网络可以做得很深，深度不再是瓶颈。
那下一个瓶颈是什么？
他几乎是本能地想到了那个词。
宽度。
或者更准確地说，视野。
卷积网络的每一层只能看到一个局部窗口。
三乘三，五乘五，最大也就七乘七。哪怕你把网络堆到一百层，每一层看到的依然是一小块局部区域。
它通过层层叠加来扩大感受野，但这种扩大是间接的，是逐层递推的，不是一步到位的。
如果数据不是图片呢？
如果是一段文字，一个句子，一篇文章？
文字里的语义关联可以跨越整个句子。
第一个字和最后一个字之间可能存在关键的依赖关係。卷积核看不到那么远。
循环神经网络可以看到，但它是串行的，一个字一个字往后递，速度慢得要命，而且同样存在梯度消失。
只不过是时间维度上的梯度消失。
那如果……
任少卿摇了摇头，把这个念头暂时压下去。
他现在面前摆著一堆更紧迫的问题。
论文要不要写？投哪个会议？实验还需要补哪些对照组？
一百层的网络还没跑，一百五十层呢？
目標检测任务上的迁移效果怎么样？
另外，残差连接这个结构目前只在图像分类上验证过。
要推广到其他任务、其他数据类型，工作量巨大。
他手上就两个师弟，根本忙不过来。 ↑返回顶部↑
“让模型只用它需要用的那部分脑子去思考。”
当时他以为那只是一个外行的模糊直觉。
但现在他回过头来看，那个十八岁的少年说的每一句话，都精准地指向了这个领域未来五到十年的核心命题。
残差连接解决了深层网络的训练问题。
但那个少年想要的，显然不止於此。
任少卿盯著那面光墙，脑子里像打开了一扇被堵住很久的门。
五十层的残差网络证明了一件事：网络可以做得很深，深度不再是瓶颈。
那下一个瓶颈是什么？
他几乎是本能地想到了那个词。
宽度。
或者更准確地说，视野。
卷积网络的每一层只能看到一个局部窗口。
三乘三，五乘五，最大也就七乘七。哪怕你把网络堆到一百层，每一层看到的依然是一小块局部区域。
它通过层层叠加来扩大感受野，但这种扩大是间接的，是逐层递推的，不是一步到位的。
如果数据不是图片呢？
如果是一段文字，一个句子，一篇文章？
文字里的语义关联可以跨越整个句子。
第一个字和最后一个字之间可能存在关键的依赖关係。卷积核看不到那么远。
循环神经网络可以看到，但它是串行的，一个字一个字往后递，速度慢得要命，而且同样存在梯度消失。
只不过是时间维度上的梯度消失。
那如果……
任少卿摇了摇头，把这个念头暂时压下去。
他现在面前摆著一堆更紧迫的问题。
论文要不要写？投哪个会议？实验还需要补哪些对照组？
一百层的网络还没跑，一百五十层呢？
目標检测任务上的迁移效果怎么样？
另外，残差连接这个结构目前只在图像分类上验证过。
要推广到其他任务、其他数据类型，工作量巨大。
他手上就两个师弟，根本忙不过来。 ↑返回顶部↑