芝加哥奥黑尔国际机场,C18登机口。
候机大厅的落地窗外,巨大的波音7如同展翅的大鹏,正在缓缓滑向跑道。
程新竹抱着膝盖坐在椅子上,眼睛瞪得像铜铃,哪怕她平时是个只对生物大分子感兴趣的医学生,也知道GeoffreyHinton这个名字在人工智能领域的份量。
“神经网络教父,深度学习的执剑人。。。。……”
程新竹像是在念某种咒语,转头看向依然一脸平静地在刷手机新闻的林允宁,“允宁,这就好比你是打篮球的,然后乔丹突然给你发私信说‘嘿,小伙子,晚上来我家后院单挑一把。你居然就只回了个‘收到?”
“不然呢?还要给他写封感谢信?”
林允宁收起手机,顺手把喝完的咖啡杯扔进垃圾桶,“辛顿教授确实是泰斗,但他发这封邮件,说明他也嗅到了危机感。Aether的算法在某种程度上挑战了他在多伦多大学建立的体系。这不仅仅是学术交流,更像是一场………………
踢馆赛的邀请函。”
“踢馆?”
程新竹兴奋地搓了搓手,“那我岂不是要去见证历史了?”
“只要你别在会上睡着就行。”
这时,一阵高跟鞋敲击大理石地面的清脆声音传来。
方雪若手里拿着三张新的登机牌,风风火火地走了过来。
她把那三张印着金色边框的票据分别拍在林允宁和程新竹手里。
“收拾东西,去休息室。”
雪若言简意赅,“我把咱们的票升到了头等舱。”
“啊?雪若姐,你前两天不是还说咱们是初创公司,能省则省嘛?”
程新竹下意识地想替公司省钱。
“该省得省,该花的也得花。”
雪若打断了她,理了理风衣的领口,“这次去ICML,我们要面对的是Google、微软和斯坦福的精英。如果你们下了飞机一脸狼狈,那气场上就先输了一半。
“记住,我们现在不是只有几台破电脑的创业公司了。我们是刚刚从辉瑞手里赚了八百万美金,准备去硅谷重新定义游戏规则的独角兽幼崽。要有身为精英的自觉。”
林允宁看着手里的头等舱机票,笑了笑,拎起背包:
“听老板的。”
波音7钻入云层,平稳地航行在三万英尺的高空。
头等舱宽大的座椅确实让人放松。
程新竹已经戴着眼罩睡着了,雪若正在翻看手中的财报。
那是全球顶级的散热材料供应商。
林允宁打开了笔记本电脑。
他没有看电影,也没有睡觉,而是调出了一篇Google研究院GoogleResearch上周刚发表的论文:
《核方法在大规模数据集上的算力瓶颈与低秩近似》。
这篇论文像是一份判决书,直指当前所有注意力机制AttentionMechanism算法的死穴。
即使是他提出的“全注意力机制”,虽然在药物分子这种短序列上表现完美,但只要序列长度一拉长,计算量就会呈指数级爆炸。
核心问题在于那个该死的Softmax。
在计算注意力时,标准公式是:
AttentionQ,K,V=SoftmaxQ?K^T。V
必须要先算Q和K的转置乘积。这会生成一个NXN的巨大矩阵。