OpenAI GPT-4进展有了一些新线索（openaigpt3.0）

继 DeepMind 的 AlphaGo之后，GPT-3是又一个引爆全球的重磅炸弹不但是整个人工智能领域为其问世而兴奋不已，这个庞然大物也引发了公众对它的无限想象它的缔造者——著名AI机构OpenAI并没有停下脚步，这也不禁让我们期待，GPT-4会是什么样子？。

最近，OpenAI 现任 CEO、Y Combinator 前总裁Sam Altman出席了一个的线上活动QA（the AC10 online meetup），在活动上对GPT 系列和 AGI发表了新的看法。

科学论坛lesswrong的一位热心网友在参加这场QA之后整理出粗略的内容重点，在AI社区引发了关注这位参与了活动的lesswrong网友称，Sam Altman的QA约长达2个小时，自己笔记并非逐字逐句记录的，ta最感兴趣的是AGI时间线和GPT细节。

因此这些笔记并非完整的，某些部分也可能不是100%准确的，仅供我们参考此外，还有一份谷歌doc记录了更多Sam Altman的回答，其中他还谈及了对纯语言模型、机器人学、特斯拉技术路线等话题我们抽取了部分重要回答列在下文中。

根据这2份记录，有以下几个重点值得期待：GPT - 4 即将到来，但 Codex 的改进会是重点；新一版的 Codex 发布会意义重大；GPT - 4 的模型大小不会差特别多，但更易于训练；DALL - E 将公开；多模态模型将在文本生成上击败纯文本模型。

等到GPT-4问世的那一天，这些信息或将得到验证

关于GPT-4GPT-4即将到来，但目前的重点是编码(即Codex)，这也是可用计算的方向GPT-4将是一个文本模型(与多模态模型不同)它不会比GPT-3大多少，但它将使用更多的计算资源人们会惊讶地发现，即使不把模型做得更大，它们也能做得更好。

OpenAI在GPT的所有方面(数据、算法、微调等)都将取得进展GPT-4很可能能够在更长的上下文下工作，并且(可能)接受不同损失函数的训练——OpenAI对此颇有远见(此处“损失函数”说法存疑)GPT-5也许能通过图灵测试。

但可能不值得这么做GPT4不会有100万亿个参数，并且它的参数量距离这个数量还很遥远更小模型，性能会更好也许他们永远都不需要这么大的模型目前还不清楚如何训练一个模型，使其能在互联网上承担一定的有价值的工作，并且对非常困难的问题进行长时间思考。

目前很多的工作是如何使它准确在聊天机器人等场景中，语言模型很难控制内容这在原则上是被允许的但问题是，被允许不代表这是没有问题的在某种程度上，你必须弄清楚如何控制模型关于Codex当前的 Codex 很糟糕（编者注：Codex 在现阶段仍然有很大的局限性，包括错误、偏见和样本的低效率等）。

OpenAI团队正在取得很大进展Codex 不到一年就会开发者们产生深刻影响以目前的收入来看，Codex 和 GPT-3 这两个机器学习项目收取的使用费不够弥补用于训练模型的开支Codex 根据一部分用户反馈进行了改进。

关于多模态DALL-E的文本编码部分可能还无法击败纯文本模型但如果多模态模型在未来几年内没有开始超越纯文本模型，Sam Altman会感到非常惊讶（也就是说，他认为多模态模型会超过纯文本模型）如果这没有发生，他们对多模态的赌注就会受到质疑。

他希望未来能看到非常强大的多模态模型在许多领域进行微调就能施展拳脚，例如教育、法律、生物学、治疗仅仅需要付出很少的劳动，人们就可以使用这些超级通用的多模态模型因为对于大多数公司来说，计算需求会变得太大DALL-E 将公开可用。

关于通用人工智能通用人工智能（AGI）不会在某个时间点突然出现，即它会经历持续发展的一段时间而人们可能不会对AGI出现的时刻达成一致这会是一个渐近的过程AGI发展的其中一个关键时刻是其可以自我进化在此之前，需要我们的努力。

AGI有可能在二十一世纪三十年代前半期实现AGI不会是一个纯粹的语言模型，但语言会是一个接口AGI需要算法上的突破，并不只是一味的增大参数量在大量资金投入的基础上，AGI硬件将应运而生关于机器人学机器人学将逐渐落后，因为机器人硬件是落后的。

如果AGI出现了，但机器人技术落后了，也许体力劳动将变得非常有价值然而，由于计算机视觉技术的突破，自动驾驶似乎正处于可行性的边缘特斯拉的方法是正确的可能会在未来几年发生其他AI存在对抗性弱点这个问题没有我们想象的那么重要，但解决的时间比我们想象的要长。

核聚变正在取得进展在未来，智力和能源可能是免费的在过去，这些似乎是最大的限制行为克隆可能比进化出一群代理更安全我们可以告诉GPT要有同理心意志、意识

前者是伟大且不会过多干涉的投资方，为OpenAI提供资源和资本、数据、计算、定制系统，“真正朝着 AGI前进”