财经新闻网消息：
多式联运，仍然是多式联运。
在扔出“延迟发布”烟雾弹后，谷歌出其不意，深夜忍住了一个大惊喜，于当地时间12月6日提前发布了自研大型模型——它最有力的竞争对手。
它实际上是一个人工智能模型家族：“大杯”Ultra、“中杯”Pro和“小杯”Nano，全部支持上下文32K理解。
三个版本能力对比图
其中，Ultra主要针对数据中心和企业应用而设计。 其强大的原生多模态性能再次引发了大家对通用人工智能的想象。
▌原生多模态破碎
多模态从一开始就是谷歌大模型框架的一部分。
目前最强大的大型模型，GPT 4，也被称为多模态模型。 它是如何实施的？ 不是直接训练多模态模型，而是先单独训练纯文本、纯视觉和纯音频模型，然后拼接在一起。
谷歌从一开始就构建了一个“多感官”模型，并向其“喂食”多模态数据（包括文本、音频、图片、视频、PDF文件等）进行训练。 然后研究人员使用额外的多模态数据对模型进行微调，以进一步提高模型的有效性。
支持文本、图像、音视频输入，图文输出
基于此，谷歌将其多模态称为原生多模态（），它可以“无缝”地理解、操作和组合不同类型的信息，并具有强大的交互能力。
为了证明自己的产品比别人更好，谷歌发布了几份成绩单。
据 称，Ultra 在 32 个常用学术基准测试中的 30 个上领先 GPT 4，涵盖自然图像、音频和视频理解到数学推理。 在MMLU（大规模多任务语言理解）测试中，Ultra取得了90.0%的高分，成为第一个超越人类专家的模型。
MMLU考试涵盖数学、物理、历史、法律、医学、伦理学等57个科目，旨在考察世界知识和解决问题的能力。
▌多模态的意义——为人形机器人更接近AGI铺平道路
通用人工智能（AGI）是指具有与人类相同或超越人类智能的人工智能。 通用人工智能的实现是人工智能领域的最终目标。 这样的人工智能可以实现自我学习、自我完善、自我调整，从而无需人工干预就能解决任何问题。 具备多模式能力是先决条件。
谷歌已经在研究如何与机器人技术相结合，与世界进行物理交互。 据《连线》报道，首席执行官兼团队代表德米斯·哈萨比斯（Demis）表示，真正的多模态需要包括触摸和触觉反馈，而将此类多模态模型应用到机器人技术中可以创造很多可能性。 “随着时间的推移，设备的多模态能力将会提高，它会获得更多的感官，包括触觉，我们正在深入探索这一点。”
这意味着我们可以真正以人类的方式理解我们周围的世界，接收各种类型的数据，包括文本、代码、音频、图像和视频，并给出同样多样化的响应，包括操纵机械臂给出动作响应。 ，人类距离通用人工智能又近了一步。
▌最高效的设备端模型在设备上原生离线运行
谷歌表示，这是迄今为止最灵活的模型，可以在多种类型的平台上高效运行，包括数据中心和移动设备。
客户端运行任务交给Nano。 Nano 是从其他模型中提炼出来的 4 位模型。 据说这是端侧设备最高效的模型。 它可以在 设备上本地和离线运行。 Pixel 8 Pro用户可以立即体验。 Nano 有两种型号：Nano-1（18 亿个参数）和 Nano-2（32.5 亿个参数）——分别针对低内存和高内存设备。
Pixel 8 Pro 在录音机应用中使用 Nano 来总结会议音频，即使没有互联网连接
谷歌表示，得益于 Nano，AI 可以在更多样化的设备和平台上运行，让每个人都能接触到 AI。
Nano 目前仅适用于 Pixel 8 Pro 14。
▌一些多模态应用示例
我们会根据语言询问和图片中的食材一步一步教你如何烹饪：
特别擅长推理数学、物理等复杂学科的问题。 例如，一位老师给出了一个物理问题“计算滑雪者在斜坡底部的速度”，一位学生提出了一个解决方案。 利用多模态推理能力，模型可以识别笔迹，理解问题，将问题和解转化为数学公式，找出学生在解决问题时出错的具体推理步骤，最终提供问题的正确解决方案。 计划。
展示了其他多模态（在以下示例中，输入包括图片、图表、视频、文本）理解能力：
我猜对了，纸团在最左边的杯子里。
图片定位能力
厘清人物关系图
图像生成能力
分析视频为玩家提供建议
了解互联网模因
▌什么时候能上市？
目前谷歌还没有进行现场演示，也没有开发外部测试，实际效果还是一个问号。
它将从发布之日起在 Bard 和 Pixel 8 Pro 智能手机上使用，并将在未来几个月内出现在更多 产品和服务中，包括搜索、广告、Duet AI 等等——
Bard将使用Pro的微调版本来执行更高级的推理、计划、理解和其他任务。 这也是巴德自推出以来最大的一次升级。 12月13日起，开发者和企业客户可以使用AI或Cloud AI访问API Pro；
Pixel 8 Pro 将是第一款运行 Nano 的智能手机。 该手机于10月4日正式发布，是谷歌最新一代高端旗舰手机。 开发者可以通过 AI Core 使用 Nano 进行构建。 它是14中新的系统服务，处理模型管理、运行时、安全功能等，简化了用户将AI集成到应用程序中的工作。
至于“王炸弹”版Ultra，谷歌表示目前正处于信任和安全审查阶段，包括由受信任的外部方进行红队检查，以及之前使用基于人类反馈的微调和强化学习（RLHF）广泛使用。 ）进一步改进模型。 在此过程中，谷歌将首先将 Ultra 提供给部分客户、开发者、合作伙伴以及安全和责任专家进行早期实验和反馈，然后在明年初向开发者和企业客户推出。
免责声明 ① 本网所刊登文章均来自网络转载;文章观点不代表本网立场,其真实性由作者或稿源方负责 ② 如果您对稿件和图片等有版权及其他争议,请及时与我们联系,我们将核实情况后进行相关删除 ③ 联系邮箱:215858170@qq.com
Copyright © 2017-2018