势不可当169篇论文带你看BERT在NLP中的2019年

原标题：势不可当！169 篇论文带你看 BERT 在 NLP 中的 2019 年！

来历：AI科技谈论

编译 | JocelynWang

修改 | 丛末

2019 年，可谓是 NLP 展开进程中具有里程碑含义的一年，而其背面的最大功臣当属 BERT ！

2018 年末才发布，BERT 仅用 2019 年一年的时刻，便以「势不可当」的姿势成为了 NLP 范畴名列前茅的「红人」，BERT 相关的论文也如涌潮般宣布出来。

2019 年，是 NLP 展开史上值得铭记的一年，也是名副其实的「BERT 年」。

NLP、ML 研讨者 Natasha Latysheva 根据自己收集的169 篇 BERT 相关论文，对 BERT 2019 年的展开进行了回忆。

咱们跟从她的脚步来看：

2019 年是 NLP 展开进程中具有里程碑含义的一年，从阅览了解到情感剖析，针对各大重要使命的处理方案都迎来了新的记载。

其间最为杰出的研讨趋势是搬迁学习在 NLP 中的运用，即在特定的言语处理相关使命中，运用许多预练习模型进行微调。在搬迁学习中能够从头运用预构建模型中的常识，进步模型的功能和泛化才能，一起许多削减具有标签的练习样本。

实践上，类似搬迁学习这种先对模型进行预练习再对特定使命进行微调的办法，并不罕见，比方核算机视觉研讨人员一般运用大型数据集（如 ImageNet）上预练习好的模型。NLP 范畴长久以来，则一直经过重用词嵌入来进行「浅层」搬迁学习。

但在 2019 年，跟着 BERT 等模型的呈现，咱们正真看到了 NLP 范畴转向更深度的常识搬迁的重要改动，即搬迁整个模型到新使命上，而这本质上是运用大型预练习言语模型作为可重用的言语了解特征提取器的办法。

这在其时也被称为「NLP 的 ImageNet 时刻」，与此一起，2019 年根据这一趋势的相关研讨作业也在继续展开。

BERT 能够明显地让 NLP 使命轻易地完成搬迁学习，一起在此进程中能够以最小化习惯的办法在 11 个语句级和词级的 NLP 使命上，发生当时最好的成果。

从实用性的视点来看，这固然是令人兴奋的，但更风趣的是，BERT 和相关模型能够促进咱们关于怎么将言语标明为核算机能够了解的言语，以及哪种标明办法能让模型更好地处理这些具有应战的言语问题有根本的了解。

新呈现的典范是：已然能够重复运用 BERT 现已厚实把握的言语根底，模型为什么还要不断针对每一个新的 NLP 使命从头开端学习言语的语法和语义呢？

跟着这一中心概念与简略的微调进程和相应的开源代码叒叒呈现呈现时，就从另一方面代表着 BERT 已敏捷地传达开来了：翻译的语句要能表现出“很快传达”的意味：初发布于 2018 年末的 BERT ，2019 年就现已变成了十分盛行的研讨东西。

实践上直到我企图撰写一份上一年宣布的与 BERT 有关的论文清单时，我才意识到它究竟有多受欢迎。我收集了169 篇与 BERT 相关的论文，并手动将它们符号为几个不同的研讨类别（例如：构建特定范畴的 BERT 版别、了解 BERT 的内部机制、构建多言语BERT 等）。

下面是一切这些论文的散布状况：

如图为在 2018 年 11 月至 2019 年 12 月间宣布的与 BERT 相关的论文调集。y 轴代表的是对引文数目的对数核算（由 Google Scholar核算），它的下限为 0。这些文章中的大多数是经过在 arXiv 论文的标题中查找关键词 BERT 找到的。

这种信息一般具有更好的交互性，因而这儿我给出了它的 GIF 图。假如感兴趣的话，你也能够翻开以 Jupyter 笔记本办法记载的原代码，能够自行调整图中的参数，相关链接如下：

• https://github.com/nslatysheva/BERT_papers/blob/master/Plotting_BERT_Papers.ipynb

上述试验运用的原始数据如下：

• https://raw.githubusercontent.com/nslatysheva/BERT_papers/master/BERT_Papers.csv

如图为在各篇 BERT 论文上移动鼠标时呈现的数据。

现在现已有许多关于 BERT 的论文宣布。从上图咱们咱们能够发现以下几点：

• 一个风趣的现象是， 从 2018 年 11 月份宣布 BERT 的原始论文的时刻与大约 2019 年 1 月份开端呈现一大波相关论文的时刻之间的距离，适当短 。
• BERT （相关）论文开端的宣布浪潮往往会集在一些中心的 BERT 模型的即时扩展和运用上（比方：图中赤色、紫色和橙色部分），例如使 BERT 适用于引荐体系，情感剖析，文本摘要和文档检索。
• 然后从 4 月开端 ，一系列讨论 BERT 内部机制的论文（图中绿色部分）相继发布 ，例如了解 BERT 怎么经过建模进行言语的分层，并剖析注意力头之间的冗余现象。其间特别令人形象深入的是一篇名为「运用 BERT 从头探究经典 NLP 的传达途径」的论文（相关论文链接为：https://arxiv.org/abs/1905.05950）。该论文作者发现了BERT 的内部核算能够反映传统 NLP 的作业流程，即词性符号、依靠项剖析、实体符号等。
• 然后在 9 月份左右， 又发布了一系列有关紧缩 BERT 模型尺度的论文 （如图青色部分），例如DistilBERT，ALBERT 和 TinyBERT 等论文。其间，来自 HuggingFace 的 DistilBERT 模型是 BERT 的紧缩版别，其参数只要从前的一半（从 1.1 亿降至 6600 万），但在对重要 NLP 使命的完成上却达到了之前功能的 95％（详细请参阅 GLUE 基准）。原始的 BERT 模型并不轻盈，这在核算资源缺乏的当地（如移动手机）是一个问题。

请注意这份 BERT 论文清单很可能是不完整的。假如与 BERT 相关论文的实践数量是本人所收拾的两倍，我不会感到惊奇。在这儿做一个大略的数量估量，现在引用过原始 BERT 论文的数量现已超过了 3100。

假如你对其间一些模型的称号感到猎奇，这些称号其实便是 NLP 的研讨人员对《芝麻街》中的人物入神的表现。咱们咱们能够将这一切归咎于（开先例以《芝麻街》人物命名）的论文 ELMo，论文相关链接如下：

• https:///search?q=elmo+paper&oq=elmo+paper&aqs=chrome..69i57j0l5j69i61j69i60.1625j1j7&sourceid=chrome&ie=UTF-8

这使得后来的比方 BERT 和 ERNIE 模型也开端以相关使命命名，变得不可避免。我十分热切地在等候一个 BIGBIRD 模型，那么咱们无妨将其紧缩版别称为 SMALLBIRD？

一、从 BERT 文献中得出的一些启示

阅读这些文献时，我发现了其间呈现的一些常见概念：

• 开源机器学习模型的价值百科。 作者免费供给了 BERT 模型和相关代码，并供给了一个简略、可重复运用的微调进程。这种开放性关于加速研讨开展而言是至关重要的，而且我有理由置疑假如作者不那么直爽的话，该模型是否会遭到相同程度的欢迎。
• 严厉看待超参数调整问题，认识到它的重要性。 RoBERTa 的论文中，提出了一种更具原理化的优化规划（如更改练习使命）和愈加泛化的超参数调整办法来练习 BERT，这在学术界引起了颤动。这种不断更新的练习制度，再加上它只对模型运用更多数据进行更长时刻的练习，就再次将各种 NLP 基准功能的纪录进步到了新的高度。
• 关于模型巨细的主意。开端，BERT 作者发现了一个很招引他的现象： 即便在十分小的数据集上，仅经过简略地添加模型巨细也能够极大地进步模型的功能。 这或许在某种含义上意味着，你「需求」数亿个参数来标明人类的言语。2019 年的其他几篇论文中指出，仅经过扩展 NLP 的模型规划即可带来模型的改善（例如众所周知的 OpenAI 中的 GPT-2 模型）。当然，这儿还有一些新的技巧能够用于练习大到荒唐的 NLP 模型（例如 NVIDIA 的具有 80 亿参数的庞然大物 MegatronLM）。可是，也有依据标明，跟着模型尺度的添加，模型的作用会递减，这与核算机视觉研讨人员在添加到必定多数量的卷积层时会遇到壁垒的状况类似。关于模型紧缩和参数功率论文的成功宣布，标明能够在给定巨细的模型中取得更多的功能。

如图，咱们的 NLP 模型渐渐的变大。摘自 DistilBERT 论文。

二、BERT 究竟是什么？

让咱们返回到前面，来讨论一下 BERT 究竟是什么。

BERT（来自 Transformer 的双向编码器标明），是 Google 研讨人员构建的一个预练习言语模型（LM）。这个言语模型是根据鼓励模型学习一个对言语深层了解的使命上练习的；LM 的一个常见的练习使命是猜测下一个单词（比方：「猫坐在__上面」）。

BERT 根据相对较新的神经网络结构 Transformer，后者运用一种称为自注意力的机制来捕获单词间的联络。在 Transformer 中没有卷积（如 CNN）或递归（如 RNN）操作，注意力是仅有需求的。

已有一些现已出书的优异教程（http:///github/tensorflow/tpu/blob/master/tools/colab/bert_finetuning_with_cloud_tpus.ipynb 五、BERT 呈现之前的一些办法？

BERT 原论文写得很好，我主张各位读者再温习下，原论文链接为：https://arxiv.org/abs/1810.04805。我将论文中用到的此前言语模型预练习和微调常用的一些首要办法总结如下：

• 无监督的根据特征的办法（如 ELMo）， 该办法运用预练习标明作为输入特征，但运用针对特定使命的架构（比方：它们为每个新使命更改模型结构）。事实上，一切研讨者最喜欢的单词嵌入办法（从 word2vec、GLoVe 到 FastText）、语句嵌入和阶段嵌入都归于这一类。ELMo 还供给单词嵌入，但以上下文灵敏的办法，符号的嵌入或许标明是从左到右和从右到左的言语模型躲藏状况向量的衔接。
• 无监督的微调办法（如 OpenAI 的 GPT 模型）， 它对有监督的下流使命的一切预练习参数进行微调，而且只经过引进一些针对特定使命的参数，来最小程度地改动模型结构。预练习是在未符号的文本上进行的，学习使命一般是从左到右的言语模型或文本紧缩（就像自动编码相同，它将文本紧缩成矢量办法，然后从矢量重建文本）。但是，这些办法使得对上下文建模的才能遭到了约束，由于它们对给定单词的模型一般是单向、从左到右的，它没有才能将一切后来的单词合并到其标明中。
• 从有监督的数据进行搬迁学习。 此外，还展开了一些作业来搬迁从具有许多练习数据的监督使命中学习到的常识，例如运用机器翻译模型参数来对不同的言语问题的权重初始化。

六、一点考虑

核算机视觉范畴，何凯明曾有一项作业《Rethinking ImageNet Pre-training》标明，预练习和微调首要有助于加速模型的收敛速度。这一考虑和观念，是否也相同适用于 NLP 范畴的作业呢？

• 何凯明论文链接地址：https://arxiv.org/abs/1811.08883

七、定论

我期望这篇文章对 BERT 所引发的研讨热潮供给了一个合理的回忆视角，并展现了这个模型在 NLP 研讨范畴中是怎么变得如此抢手和强壮。

现在这一范畴的开展敏捷，咱们现在从最先进的模型中看到的成果，即便在只是五年前也是难以置信的例如，在问答使命中表现出来的逾越人类的功能。

NLP 范畴最新展开进程中的两个首要趋势是搬迁学习和 Transformer 的鼓起，我十分等待看到这两个研讨方向在 2020 年的展开。

Via https://towardsdatascience.com/2019-the-year-of-bert-354e8106f7ba

免责声明：本文系网络转载，版权归原作者一切。如触及作品版权问题，请与咱们联络，咱们将根据您供给的版权证明资料承认版权并付出稿费或许删去内容。

责任修改：