第264章 另类的学术风格（1 / 2）

在所有人面对着抽取式摘要算法的瓶颈而找不到走出文本摘要这个房间的方法之时。

LINHUI恰到好处地出现了，在所有人的茫然下信步般推开了一扇被称为是“生成式文本摘要”的崭新的门。

而现在来看，尹芙·卡莉觉得她以前的认知还是差点意思。

事实是林灰不光是绝对意义上的天才，还是当之无愧的强者。

如果林灰在论文中的补充内容里所描述的内容所言非虚的话。

这样的人不是强者又是什么呢？

预训练的提出说是对传统的语料训练方式的一次革命也不为过。

这将极大的给语言模型的训练进行助力。

尹芙·卡莉有预感在预训练的提出之后传统的自然语言处理这一领域有望全面进入到神经网络学习的时代。

如果真的能做到如此的话。

那将是意义空前的贡献。

要知道林灰搞出来的东西可不仅仅是预训练。

尹芙·卡莉注意到林灰在论文中对预训练的描述是基于迁移学习思想的预训练。

什么叫迁移学习？

借助迁移学习可以运用已有的知识来学习新的知识。

这一思想的核心是找到已有知识和新知识之间的相似性从而举一反三。

在机器学习这一领域，直接对目标从头开始学习成本太高。

借助于迁移学习的话就不用那么麻烦了。

很多时候我们可以运用已有的相关知识来辅助尽快地学习新知识。

比如，已经会了C语言，就可以类比着来学习C++；

已经学会希腊语，就可以类比着来学习英语。

世间万事万物皆有共性，合理地找寻它们之间的相似性之后。

利用这个桥梁来帮助学习新知识，可以省却很多新麻烦。

如果诚然是借助于这一思想的话。

在预训练的数据共性学习之后。

再对非共性标记数据进行额外学习时。

倘若因为迁移思想的引入使得预训练具备了举一反三的学习能力。

那么在对非共性标记数据学习所花费的时间可能会更少。

时间更少意味着什么呢？

意味着效率的空前提升。

此前尹芙·卡莉一直不是很理解林灰是怎么突然异军突起的。

现在她却已然是心下了然了。

不过这样的话，尹芙·卡莉觉得先前对林灰进行的有些估计就有点保守了。

同等规模语料库下的训练引入基于迁移思想的预训练机制的训练要比常规的至少能够节省70%的时间。

这个数据是比较夸张的了。

如果一如尹芙·卡莉猜测的那样的话。

那林灰搞出的东西不止是数据夸张，功用也将是很离谱

要知道基于迁移思想搞定的东西某种意义上讲是可以“迁移”的，也就是可移植性。

这特么的就逆天了。

涉及到文本摘要甚至是整个自然语言处理这一领域的研究以前多多少少是有点圈地自萌的意味的。

但如果具有了迁移性那完全是有可能渗透到别的领域的。

心念及此，一时之间尹芙·卡莉感觉林灰的着眼点也一定不是自然语言处理的这个小鱼塘。

林灰在下一盘大棋。

尽管和林灰相识不久，但作为一个跟林灰经常学术交流的人。