狂人马斯克旗下OpenAI将发布最强大语言模型GPT-4，将是划时代突破！

时间：2022-11-21 06:00:36   热度：37.1℃   作者：网络

2020年6月，由埃隆·马斯克等人创立的世界级人工智能研究机构OpenAI发布了第三代生成式预训练模型GPT-3。GPT-3拥有1750亿个参数，是第二代模型GPT-2的100倍，也一举将此前同类NLP模型的参数纪录提升了10倍。GPT-3的发布被业界视为重大进展，也因此被《麻省理工科技评论》列为「2021十大突破性技术」。

最新，AI分析师罗梅罗的一篇专栏文章，介绍有关GPT-4，一经推出便迅速引爆了整个AI科技圈。他表示，GPT-4几乎准备就绪，并将于今年12月至明年2月的某个时间点发布。甚至还有传言表示，GPT-4已经先进到与人类无异，甚至通过了图灵测试。

什么是GPT-3，GPT-4？

GPT-3 的能力非常强，被称为“万能生成器”，不仅限于语言，甚至还能生成数学公式、Excel 表格函数、回答问题、作诗、解数学题、翻译代码等等，总之，没有你想不到的，GPT-3 的能力有多么的强大。

通俗来说，你说一句话或一段话，人工智能会根据你的话来做事。例如，你说“生成一幅美丽的中国山水画，模仿XX大师风格”，几秒钟以后就出来你想要的中国山水画，甚至不逊于人类的作品。今年9月份，美国男子杰森·艾伦采用人工智能“Midjourney”生成的画作《太空歌剧院》，在科罗拉多州博览会的美术比赛中获得一等奖。事实上，Midjourney的背后就是GPT-3。

另外，有很多聊天机器人服务。它们是如此自然，以至于用户不知道他们是在与人交谈还是在与计算机交谈。

另外，新的GPT-4还能根据你的一段描述，有可能生成一个人工智能视频！或编写一个程序，大大的解放了人类劳动力！

GPT-3有哪些应用？

GPT-3虽然很多人听过，但是见的人并不多。其实，主要原因是GPT-3并没有开源，而是与微软签订了独占协议，公众只能通过微软提供的付费openAI API与模型进行交互，完整的研究访问授权仍然仅限于少数资源丰富的实验室。主要原因是微软具有强大的产品化能力，而openAI只是研发能力超强。

正因为微软的参与，目前市面上很多人工智能应用，实际上底层就是购买了微软提供的openAI API而已，然后在这个基础上再开发一层表皮。

事实上，梅斯医学里面很多图片，也是人工智能生成的，并不是来自于摄影，或人工绘制。有兴趣的大家可以仔细观察观察。如果不仔细观察是极难辨别哪些是真正摄影，哪些是人工智能生成的。

事实上，目前国际上很多新闻资讯，也是AI写成的，包括配图都是AI生成的，它的质量与人工写作基本一致，但是，它写作一篇几千字的文章，不需要1秒钟（梅斯小编：不过您看到这篇文章，还是人工写成的）。

目前全球有超过1万个应用，底层使用的是openAI API。预计，随着GPT-4出现，它的性能大幅度提升，质量更好，但是成本反而更低，这样极大促进GPT-4的普及应用，有望真正走到千家万户！

GPT-4的参数会再次提升100倍？

假如GPT-4之于GPT-3的进步，就像GPT-3之于GPT-2一样大，那么这又将是一个接近100倍的提升。Xday编辑Beniamin Mincu用下图进行形容。认为GPT-3可能会达到十万亿个参数！

不过，根据 Altman 的说法，GPT-4 不会比 GPT-3 大很多。 因此，我们可以假设它将有大约 1750-2800亿个参数，类似于 Deepmind 的语言模型 Gopher。大型号Megatron NLG比GPT-3大三倍，参数5300亿，但性能没有超越。 紧随其后的较小型号达到了更高的性能水平。 简单来说，模型参数并不代表参数越大，性能更高。

Altman 表示，他们正专注于让更小的模型表现更好。 大型语言模型需要庞大的数据集、海量的计算资源和复杂的实现。 对于许多公司来说，即使部署大型模型也变得不划算。

因此，预计GPT-4更多的工夫用在参数优化上。这样其它企业应用GPT-4的成本也会大大降低，可及性反而会更好。

GPT-4 可能会做 GPT-3 做不到的事情

2022 年 8 月 20 日，罗伯特·斯科布尔 (Robert Scoble) 在推特上发布了 OpenAI 如何将 GPT-4 的 Beta 版访问权限提供给一个与 AI 公司关系密切的小团体。 Scoble 说：“一位朋友可以访问 GPT-4，但由于 NDA，不能谈论它。 正要告诉我关于它的一切，然后想起他在和谁说话。”

美国科技博主罗伯特·斯科布尔（Robert Scoble）表示颠覆即将来临。GPT-4比任何人的预期都要出类拔萃。它是将于明年推出的几大AI产品之一

OpenAI CEO阿尔特曼近期的一篇推文，似乎也曾侧面印证了这个传闻。他上传了一张星球大战的照片，上面写着一句话：不要为自己创造的『技术恐怖』而骄傲，通过图灵测试的能力在『原力』面前无能为力。

Reddit 用户 Igor Baikov 发帖称，考虑到该公司构建更密集模型的历史，GPT-4 将非常稀疏或庞大。 如果直接与 LaMDA、GPT-3 和 PaLM 等其他流行模型进行比较，它肯定会被认为毫无意义。

GPT-4可能具有多模态

2022 年 7 月，OpenAI 推出了最先进的文本转图像模型 DALLE2。几周后，Stability.AI 推出了 DALLE-2 的开源版本，名为 Stable Diffusion。这两种模型都很受欢迎，并且在质量和理解提示的能力方面都显示出可喜的结果。

最近，OpenAI 推出了一种名为 Whisper 的自动语音识别 (ASR) 模型。它在稳健性和准确性方面优于所有其他模型。

从趋势来看，我们可以假设 OpenAI 将在未来几个月推出 GPT-4。市场对大型语言模型的需求很高，GPT-3 的流行已经证明人们期待 GPT-4 具有更好的准确性、计算优化、更低的偏差和更高的安全性。

尽管 OpenAI 对发布或功能保持沉默，但在这篇文章中，我们将根据 AI 趋势和 OpenAI 提供的信息对 GPT-4 做出一些假设和预测。此外，我们将学习大型语言模型及其应用。

预计 GPT-4 具有多模态的可能性——例如接受音频、文本、图像甚至视频输入。 此外，假设来自 Open AI 的 Whisper 的音频数据集将用于创建训练 GPT4 所需的文本数据。

GPT-4能干什么？会不会自己创建新的机器学习方法？

GPT-4 将是一个纯文本的大型语言模型，在与 GPT-3 相似的大小上具有更好的性能。 它还将更加符合人类的命令和价值观。

与 GPT-3 一样，GPT-4 将用于代码生成、文本摘要、语言翻译、分类、聊天机器人和语法校正等各种语言应用。 新版本的模型将更安全、更少偏见、更准确、更一致。 它还将具有成本效益和稳健性。

在这两年中，OpenAI 已经多次改变 GPT-4 的路线，所以一切都在空中。我们必须等到 2023 年初——这有望成为 AI 又一个伟大的一年。一切拭目以待！

甚至有人认为未来GPT-4 或GPT-5能创建新的机器学习方法，真正实现机器人自我不断进化，象真正的人类一样，自我升华和进化！

没有马斯克想不到的，没有马斯克干不到的事情！

中国有GPT-4吗？

中文与世界上所有语言都不同！虽然GPT-3也支持中文，但是主流语言仍然是英文。

2021年4月19日，阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG（Pre-training for Language Understanding and Generation）。训练了业内规模最大的中文理解和生成模型PLUG，参数达270亿，在中文的多个下游理解和生成任务上，该模型效果达到state-of-the-art水平。不过与openAI相比，还差一个数量级。

2021年9月，腾讯 QQ 浏览器实验室研发的预训练模型「神舟」（Shenzhou）在 9 月 19 日的中文语言理解评测 CLUE 榜单上登顶，刷新业界记录，成为首个在中文自然语言理解综合评测数据上超过人类水平的预训练模型。2021年10月13日，腾讯云小微与腾讯AI Lab联合团队提出了基于知识的中文预训练模型——“神农”，该模型仅包含十亿级参数量，并一举登顶CLUE总排行榜、1.1分类任务、阅读理解任务和命名实体任务四个榜单，刷新业界记录。

最新基于CLUE1.1的总排行榜如下：

当然，不同的工作性质下排行榜是不一样的，如分类，小样本训练，阅读理解等。

总的来说，中文世界的NLP也进展相当迅速。但是我们也要看到差距，目前中文的NLP人类智能大规模应用仍然与openAI有极大的差距。毕竟微软是应用软件开发的全球第一巨人，由它的加持，应用速度自然会加速。

参考资料：

https://github.com/CLUEbenchmark/CLUE

https://www.cluebenchmarks.com/classification.html

https://www.datacamp.com/blog/what-we-know-gpt4