5620亿参数！谷歌发布全球最大视觉语言模型PaLM-E：几乎拥有所有语言能力，能识别图像信息、操控机器人……（google vision 是什么）

智能聊天工具，但谷歌对AI的小心谨慎态度让其失去了对生成式AI的先机。

不过，作为硅谷科技巨头，谷歌从来不缺乏“后来居上”的决心和实力美西时间3月6日（周一），来自谷歌和德国柏林工业大学的一组人工智能研究人员公布了史上最大视觉语言模型PaLM-E（全称Pathways Language Model with Embodied）。

作为一种多模态具身视觉语言模型 (VLM)，PaLM-E能将视觉和语言集成到机器人控制中谷歌和柏林工业大学称，PaLM-E是迄今为止人类开发的最大规模VLM，其可以在不需要再训练的情况下执行各种任务此外，通过PaLM-540B语言模型与ViT-22B视觉Transformer模型相结合，

PaLM-E最终的参数量高达5620亿（GPT-3 的参数量为1750亿），这是全球已知的最大视觉语言模型可分析视觉数据执行高级命令“我们观察到诸如多模态思维链推理（允许模型分析包括语言和视觉信息的一系列输入），只接受单图像提示训练的多图像推理（使用多个图像作为输入来做出推理或预测）等涌现能力。

介绍，当接到“把抽屉里的薯片拿过来”等较为高级的命令时，PaLM-E可以为一个有“手臂”的移动机器人平台（由谷歌Robotics公司开发）生成行动计划，并自行执行任务机器人能够顺利地从十多个开放式抽屉中找到米饼，拿给研究人员。

利地完成任务。

效的视觉语言模型”。

外，PaLM-E也非常具有弹性，。

能根据所处的具体环境做出反应例如，PaLM-E模型可以引导机器人从厨房取出一个薯片袋，并且将PaLM-E集成到控制循环中，它可以抵抗任务执行期间可能发生的中断在谷歌发布的视频中，一名研究人员从机器人手中抓起薯片并进行移动，但最终机器人可以找到这些薯片并再次抓起。

“PaLM-E几乎拥有所有语言能力”据谷歌和柏林工业大学的合著论文介绍，PaLM-E是一个仅有解码器的大型语言模型（LLM），在给定前缀（prefix）或提示（prompt）下，能够以自回归方式生成文本补全。

其训练数据为包含视觉、连续状态估计和文本输入编码的多模式语句由于PaLM-E是基于语言模型，所以它会连续观察图像或传感器数据，并将其编码成与语言符号大小相同的向量序列这使得模型能够以处理语言的相同方式“理解”感觉信息。

谷歌和柏林工业大学研究人员发布的预印本论文除了RT-1机器人外，PaLM-E还借鉴了谷歌之前在VIT-22B上的工作，后者是谷歌在上月公布的一款视觉语言模型VIT-22B已经在各种视觉任务上进行了训练，例如图像分类、目标检测、语义分割和图像字幕等。

除了机器人技术外，谷歌的研究人员还观察到了几个有趣的现象首先，PaLM-E在实验案例中表现出了“正向转移（positive transfer）”，这意味着它可以将所学到的知识和技能从一个任务转移到另一个任务，因此与执行单个任务的机器人模型相比，性能有显著的提高。

此外，谷歌研究人员还观察了PaLM-E大规模参数下的一个趋势：“语言模型规模越大，在进行视觉语言和机器人任务训练时，它就越能保持语言能力——从参数规模上来讲，5620亿参数的PaLM-E几乎拥有所有语言能力。

”谷歌研究人员计划未来将探索PaLM-E在现实世界中有更多应用，例如家庭自动化或工业机器人，也希望PaLM-E能够激发更多关于多模态AI的应用《每日经济新闻》记者还注意到，作为AI大战的老对手，微软也已经在“图像+语言模型”的路数上有所布局。

在今年2月底发表的研究中，微软就展现了如何使用ChatGPT为大疆Tello无人机编写“找饮料”程序的案例微软最近发布的“用于机器人的ChatGPT（ChatGPT for Robotics）”论文，就尝试以类似于谷歌PaLM-E的方式将视觉数据和大型语言模型结合起来，对机器人进行控制。

每日经济新闻