OpenAI发布了一个“逆天”的AI模型——GPT2整个模型包含15亿个参数

上个月，OpenAI发布了一个“逆天”的AI模型——GPT2，整个模型包含15亿个参数。你给它一句话，它能给你编出一篇文章来。

OpenAI的研究主管Dario Amodei表示，GPT2是在一个包含大约1000万篇文章的数据集上进行培训的，比之前最先进的AI模型大12倍，数据集大15倍。

有这么厉害？看看他的实力水平不就知道了，OpenAI给出了这么一个开头：

在一项研究中，科学家们发现了一群独角兽，它们生活在安第斯山脉一个偏远的还没被开发山谷中，更令人惊讶的是这些独角兽会说一口流利的英语

就这么一句话，GPT-2能写出以下这么一大段故事：

因为它们独特的角，科学家们将他们命名为Ovid’s Unicorn，这些四角、银色角的独角兽是原来科学家所不曾见过的。

......中间还编写了，这些独角兽是如何被发现的，以及业内权威人士认为这些生物是如何出现的，最后还表明要验证这群独角兽是否为外星种族，唯一的方法可能就是通过DNA。

这一本正经的胡说八道，说的猿妹我都信以为真

能有这样出色的表现，不是没有原因的，GPT-2各种特定领域的语言建模任务中都取得了很好的分数。作为一个没有经过任何领域数据专门训练的模型，它的表现，比那些专为特定领域数据集（例如维基百科，新闻，书籍）上训练的模型。有图有真相：

除了能用于语言建模，GPT-2在问答、阅读理解、摘要生成、翻译等等任务上也都有非常好的成绩，openAI在博客上也给出了示例，感兴趣的可以前往查看（地址：https://blog.openai.com/better-language-models/）

除了以上提到的这些优异表现，最主要的是GPT-2还学习几种编程语言的语法模型，比如PHP和JavaScript。

它写出来的JavaScript长这样：

还有PHP语言：

就连Facebook AI研究院的Tim Rocktäschel看了GPT-2写出来的代码都表示：我们要有大麻烦了

话虽如此，该博客下面也有人表示其实，GPT-2写的代码不够严谨，容易把js、C++、Python等语言混为一谈。但实力依然不可小觑

目前，GPT-2已经在GitHub上获得4116个Star，674个Fork（地址：https://github.com/openai/gpt-2），喜欢的人可以尝试一下

不过，OpenAI 的研究人员们决定不发布训练模型的数据、也不发布最大那个模型预训练后的参数，因为他们认为如此强力的模型有遭到恶意滥用的风险。最后，你们如何看待这个项目呢？