希尔顿酒店的行政套房里,浓重的雪茄烟雾在昏黄的落地灯光下盘旋。
这里没有闪光灯,没有记者,只有几个即使在2007年。也足以让硅谷地震的大脑。
杰弗里?辛顿坐在正中央的皮沙发上,手里的烟斗明明灭灭。
他没有问那些关于ON复杂度的工程细节,而是透过烟雾,抛出了一个近乎哲学的问题:
“年轻人,你究竟看到了多远的未来?”
林允宁没有立刻回答。
他走到房间一侧的白板前,拿起黑色的记号笔。
但他没有画那个大家熟知的,层层堆叠的神经网络结构图,也没有画反向传播的梯度链。
他在白板上画了一个扭曲的圆圈??一个莫比乌斯环。
“辛顿教授,我认为深度学习的未来,不在于‘深度’Deep。
林允宁转过身,笔尖点在那个扭曲的环上,“而在于‘流形’Manifold。"
房间里响起了一阵衣料摩擦的细微声响。
杨立昆YannLeCun原本抱在胸前的手臂放了下来,眼镜后的目光变得锐利。
“现在的神经网络,本质上是在做盲人摸象。”
林允宁的声音平静而清晰,“我们通过堆砌几百层参数,试图用暴力的算力去拟合数据。但这就像是用无数个小平面去拼凑一个地球仪。
“但我看到的未来,是让网络学会‘看’数据的形状。数据不是散落在高维空间里的沙子,它们是铺在一张张卷曲的、复杂的流形表面上的。
“听起来很浪漫。”
角落里,一位穿着深灰色西装的中年人开口了。
埃里克?霍维茨,微软研究院的首席科学家。
他的语气里,带着典型的工业界务实或者说固执。
“但林先生,恕我直言,几何学救不了现在的AI。在小样本数据上,有着严格数学证明的支持向量机SVM和贝叶斯网络依然吊打神经网络。SVM是可解释的,我有完美的超平面。而你的‘流形,听起来更像是一种不可解
释的玄学。
“如果你还在迷信超平面,那你已经被时代抛弃了。”
还没等林允宁说话,杨立昆先跳了出来。
这位有着浓重法国口音的CNN之父,性格和他的算法一样直来直去,“在高维图像数据面前,你的超平面就是一张废纸。世界是局部的,pixel和pixel之间的关系是几何的,不是统计的!”
“而且,数据的规模正在发生质变。”
坐在沙发另一侧的一位年轻亚裔女性插话道。
刚刚加入普林斯顿的李飞飞推了推眼镜,语速很快:
“我们正在普林斯顿构建一个名为ImageNet的项目。当数据量达到千万级别时,传统的统计学习方法会因为算力瓶颈而崩溃。林先生那个ON的算法,可能是唯一能吃下这些数据的解药。”
争论在小小的房间里升温。
这就是2007年的AI界。
混沌、分裂。
旧秩序尚未崩塌,新王还未登基。
“笃、笃。”
辛顿用烟斗轻轻敲了敲烟灰缸,清脆的声音让房间重新安静下来。
“哲学讨论到此为止。”
老人的目光穿透烟雾,死死盯着林允宁,“林,光有漂亮的几何概念是不够的。你需要展示你的‘魔法’是如何运作的。在这个流形上,你打算怎么走路?”