02小说网

第202章 易碎的玻璃糖求订阅求月票（第3页）

“您说得非常对，魏斯博士。”

林允宁坦然承认，“线性注意力确实会导致注意力分布的‘平滑化”。它没法像Softmax那样，在几万个词里精准地只盯着一个看。它看东西确实是‘模糊”的。”

他退出PPT，切到了代码终端界面。

“但是，工程学本质上就是关于取舍Trade-off的艺术。”

林允宁输入了一行指令，加载了一个巨大的数据文件。

“这是人类1号染色体的基因序列片段，长度为100，000个碱基对。

“在这个尺度上，我们并不需要关注某一个具体的碱基A还是T。我们需要关注的是宏观的、长距离的、全局的关联。

“对于基因测序，或者对于一本百万字的小说来说，‘看清大概的轮廓比‘看清某一个标点符号’重要一万倍。”

“Run。”

林允宁按下了回车键。

大屏幕上，内存监控的波形图开始滚动。

如果是传统的ON^2算法，这条红线会在0。1秒内冲破顶端，然后程序报错。

全场几百双眼睛死死盯着那条红线。

一秒。两秒。三秒。

红线微微抬起了一点点，大约占据了128MB的内存，然后。。。。。。变成了一条毫无波澜的直线。

【Processing。。。100%。Done。】

【Timeelapsed:3。42s。】

三秒钟。

处理完了十万长度的序列。虽然它的注意力可能是“散光”的，但它跑完了。

而魏斯电脑上的那个精准的Softmax算法，还在报着“OutofMemory”。

“一个能跑完的模糊算法，永远比一个跑不起来的完美算法有价值。”

林允宁看着台下的魏斯，语气诚恳，“魏斯博士，这就是我目前给工业界的答案。我们不需要在每一件事上都追求完美，有时候，为了看见整片森林，我们必须接受看不清树叶的代价。

“当然，随着技术的进步，这个算法还有很大的成长空间。”

魏斯看着屏幕上那条平直的内存曲线，沉默了很久。

作为工程师，他无法反驳这个逻辑。

在当前芯片的算力下，能跑通，本身就是最大的胜利。

他合上那台依然报错的外星人笔记本，脸上傲慢的神色消退了不少。

他并没有鼓掌，只是对着台上的年轻人微微点了点头，算是一种同行间的认可。

“聪明的取舍。”

第一排，一直没说话的杰弗里?辛顿突然开口了。

老人的声音不大，但全场瞬间安静下来。

“大脑也是这么工作的。”

辛顿推了推眼镜，目光深邃，“我们的大脑从来不会对每一个视网膜像素进行精确计算。我们也是‘散光”的，我们只关注大概。这很。。。。。。符合生物学直觉。”

听到“生物学直觉”这个词，杨立昆也笑了，带头鼓起了掌。