02小说网

第234章 恒等映射求订阅求月票（第4页）

他在纸上画了一个方框，代表卷积层。

“现在的做法是强迫网络去学习从X到Y的完整映射Fx。这很难。”

林允宁在方框旁边，画了一条弯曲的弧线，直接把输入X连到了输出端。

在那条弧线上，他重重地画了一个加号:+。

Hx=Fx+X

“我们给它修一条直通车。”

林允宁指着那个简单的公式，“这就是‘残差块’ResidualBlock。

“我们不再让网络去学习完整的输出Hx，而是让它只学习“变化量’????也就是残差Fx=x-x。

“如果这一层不需要做什么改变，网络只需要把Fx置为0，那么输出就自动等于输入x恒等映射。

“这样一来，梯度就可以顺着这条高速公路，毫无损耗地传回前面的层。别说50层，就是100层、1000层，也能训练。”

李飞飞盯着那张餐巾纸。

那个结构简单得像是一个大一学生的作业。

但正是这种极致的简洁，让她感到一阵头皮发麻。

困扰了AI界几十年的深度瓶颈，竟然被一条简单的“跳线”给破解了?

“这。。。。。。这太天才了!”

李飞飞猛地抬起头，眼神里全是震撼，"IdentityMapping。。。。。。恒等映射!就这么简单?为什么没人想到?”

“因为大家都在想怎么把网络变得更复杂，却忘了有时候什么都不做’也是一种智慧。”

林允宁笑了笑。

“但是。。。。。。”

李飞飞忽然想到了什么，眼神中的兴奋稍稍褪去，“算力。。。。。。普林斯顿的经费有限，训练这种深层网络需要的GPU算力是天文数字。我现在连ImageNet的存储服务器费用都快付不起了。”

2007年，NVIDIA刚刚发布第一代TeslaC870计算卡，CUDA生态还是一片荒芜。

训练一个几十层的网络，简直是在往无底洞里面扔钱。

“算力不是问题。”

林允宁等的就是李飞飞这句话。

他靠在椅背上，端起咖啡抿了一口，露出了商人的微笑。

他语气轻松，仿佛他背后站着整个谷歌的数据中心，“以太动力虽然是家小公司，但在高性能计算上的投入从不吝啬。

“李教授，我们做个交易吧。

“以太动力可以为你提供基于‘残差网络’ResNet的全套算法支持，并且在不远的未来，在我们的服务器上帮你训练第一版ImageNet分类模型。”

李飞飞震惊地看着这个年轻人。

她知道以太动力刚赚了辉瑞的钱，但没想到他们竟然富到可以烧钱训练大模型。

“条件呢?”她问道。

李飞飞是聪明人，知道天下没有免费的午餐。

“我要ImageNet完整数据集的永久商业使用权。”

林允宁图穷匕见，声音不大，却透着不容置疑的坚决，“以及未来所有版本更新和衍生数据的优先共享权。”

李飞飞愣住了。

她原本以为林允宁会要论文署名，或者是专利共享。

没想到他要的竟然是。。。。。。数据?

那个现在被所有人嫌弃，却又大得吓人的数据集?

“就这些?”

李飞飞有些不敢相信，“你确定?这些图片现在除了占硬盘，还没人知道怎么用它们赚钱。”