上午九点五十五分,科瓦利斯会议中心C厅。
原本只能容纳两百人的分会场,此刻连过道里都站满了人。
空气闷热,混合着廉价咖啡和程序员身上特有的那种陈旧衬衫的味道。
这帮人当然不是冲着名不见经传的“以太动力”来的。
大家是来看上帝的。
就在刚才,杰弗里?辛顿和杨立昆这两个平时神龙见首不见尾的大佬,竟然联袂走进了这个偏僻的C厅,并且在前排正中间找了个位置坐下。
这一举动就像是在平静的鱼塘里扔了个深水炸弹。
原本还在隔壁B厅听贝叶斯网络报告的人,瞬间跑了一半过来围观。
“那个中国小子是谁?辛顿教授居然专门来听他的报告?”
“听说是个做AI制药的,昨天在展台那边忽悠了不少风投。”
第一排最右侧,谷歌技术总监魏斯博士Dr。Weiss已经打开了他那台厚重的戴尔外星人笔记本电脑。
屏幕上跑着一段MATLAB代码,那是他连夜让手下工程师复现的“全注意力机制”demo。
在他身后的屏幕上,鲜红的“OutofMemory”内存溢出报错框正一闪一闪。
魏斯看着走上台的林允宁,推了推眼镜。
他不是来砸场子的,他是来做“代码审查”的。
作为谷歌搜索算法的负责人之一,他太清楚工程实现的边界在哪里。
数学可以天马行空。
但服务器的内存条,才不会陪你演戏。
十点整。
林允宁站在讲台中央。
他没穿西装外套,只穿了一件挺括的白衬衫,显得身姿愈发挺拔。
领口,依旧系着雪若送的那条深蓝色的真丝领带。
雪若站在台下阴影处,抱着手臂,满意地点了点头。
这身打扮既有学术的严谨,又不失精英的锐利,卖相满分。
“早上好,我是林允宁。”
林允宁没有寒暄,直接按下了翻页笔。
投影幕布上跳出了一张图:一只大象被塞进了冰箱里,冰箱门被撑爆了,零件飞得到处都是。
台下响起了一阵稀稀拉拉的笑声。
“这就是目前的注意力机制。”
林允宁的声音通过麦克风传遍全场,平稳而清晰,“我们试图让神经网络记住每一个输入信号之间的关联,这很美好。但代价是,当我们需要处理长序列??比如一条完整的人类染色体,或者一本《哈利波特》时,我们需要
计算一个乘以N的巨大矩阵。”
他在黑板上写下了一个公式:
Complexity=ON^2
“对于N=1000,这没什么。但对于N=100,000,这意味着我们需要100亿次浮点运算和几十GB的显存。”