财经新闻网消息：
【新智慧入门】问题不在于语言模型的学习算法，而在于语言本身固有的局限性。 多模态将引领下一次人工智能爆炸！
自去年发布以来，业界内外掀起了一股对大规模语言模型的热潮，甚至谷歌员工也声称公司内部存在语言模型意识。
近日，纽约大学教授、Meta首席人工智能科学家、图灵奖获得者Yann LeCun和纽约大学计算机系博士后Jacob发表长文。 他们认为，正是语言本身的局限性阻碍了LLM智力的提高。
尽管语言模型变得越来越通用和强大，但我们越来越了解模型的思维过程。
该模型在各种常识推理基准测试中都能达到非常高的准确率，但为什么它仍然胡言乱语并给出危险的建议呢？
换句话说，为什么语言模型如此聪明，但能力却如此有限？
研究人员认为，问题根本不在于AI算法，而在于语言的局限性。 一旦我们放弃“语言就是思考”的假设，我们就会发现LLM虽然表现不错，但永远无法达到接近人类的智力水平。
语言模型到底是什么？
在19世纪和20世纪的哲学和科学研究中，主流的理解是“知识作为语言学”，即知道某件事仅仅意味着思考正确的句子并知道如何与已知的真实网络联系起来。 与其他句子连接。
根据这种逻辑，理想的语言形式应该是由按照严格的推理规则连接起来的任意符号组成的纯粹形式化的逻辑数学形式，但自然语言也可能需要语义消歧和不精确性。
这位奥地利哲学家曾经说过，真命题的总和就是自然科学的整体。
尽管认知图谱和心理意象领域还存在争议，但20世纪建立的语言学基础是象征主义。
这种观点至今仍为很多人所接受：如果百科全书能够包含所有已知的内容，那么只要读完所有的书，就能对世界有一个全面的了解。
人工智能的早期研究也遵循这一思想，定义了根据逻辑规则以不同方式将语言符号绑定在一起的符号操作。
对于当时的研究人员来说，人工智能的知识存储在一个由人工逻辑连接的真实句子组成的巨大数据库中。 如果人工智能系统在正确的时间吐出正确的句子，它就可以以适当的方式进行符号操作。 如果是这样，它就可以被认为是一个智能系统。
这个想法也是图灵测试的基础：如果一台机器能够在正确的时间说出它所知道的内容，则意味着它知道它在谈论什么以及何时应用其知识。
但反对者认为，仅仅因为机器会聊天并不意味着它能够理解对话的具体内容，因为语言无法穷举知识，相反，语言只是知识的高度具体且非常有限的表示。
所有语言，无论是编程语言、符号逻辑还是口语，都只是一种特定类型的表示模式，用于在极高的抽象级别上表达离散的对象和属性及其彼此之间的关系。
尽管如此，阅读乐谱和听音乐之间仍然存在巨大的鸿沟，演奏技巧之间的差距甚至更大。
语言表征更像是某些特定信息的压缩，例如描述不规则形状、物体的运动、复杂机构的功能等。其他非语言表征也可以以可理解的方式传达信息，例如图像、录音、图表， ETC。
语言限制
语言是一种带宽非常低的传输，孤立的单词或句子所传达的脱离上下文的信息非常少，而且许多句子由于同音异义词和代词数量较多而在语义上存在歧义。
乔姆斯基 () 几十年前就指出，语言并不是一种清晰、明确的交流工具。
但人类并不需要完美的沟通工具。 我们对一个句子的理解通常取决于该句子出现的上下文来推断该句子的含义。
大多数情况下，我们正在讨论眼前的事情，比如正在进行的足球比赛，或者面对某些社会角色，比如和服务员点菜，沟通一些明确的目标。
阅读短文时，主要关注的是使用常见的阅读理解策略来理解文本，但研究表明，孩子对某个主题的背景知识量实际上是影响理解的关键因素。
很明显，这些都是我们在 中看到的，永远不会完整的。
显然，人工智能系统注定只能对世界有肤浅的认识，永远无法接近人类所拥有的全面思维。
单词和句子固有的语境性质是理解法学硕士如何运作的关键。
神经网络通常将知识表示为专有技术，即它们对上下文高度敏感，并且可以同时发现具体和抽象的规则，从而能够对任务相关输入进行细粒度处理。
在法学硕士中，整个过程涉及系统识别现有文本的多个级别的模式，要么查看段落中的各个单词如何连接，要么查看句子如何连接在一起以构建更大的章节段落。
因此，LLM对语言的理解肯定是语境化的，不是根据字典含义来理解单词，而是根据它们在不同的句子集合中所扮演的角色来理解单词。
而且，很多单词的使用，如menu、 等，几乎只在特定领域使用。 即使在一个孤立的句子中，该单词也将具有上下文语义。
简而言之，LLM的训练过程就是学习每个句子的背景知识，找到周围的单词和句子来拼凑上下文，使模型能够将不同句子或短语的无限可能性作为输入，并得出继续谈话或继续文章等的合理方式。
一个接受所有人类书写文本训练的系统应该能够发展对话所需的一般理解。
LLM学的只是皮毛知识
有些人不认为LLM具有最初的“理解”能力或者所谓的“智力”。 批评者认为这些系统只是模仿得比较好，因为LLM对语言的理解还很肤浅，就像在课堂上假装高深一样。 学生实际上不知道自己在说什么，只是无意识地模仿教授或课文。
LLM 对一切事物的了解都是肤浅的。 像 GPT-3 这样的系统的训练方法是屏蔽句子或段落中未来的单词，并迫使机器猜测最有可能的单词，然后纠正错误的猜测。 该系统最终能够熟练地猜测最有可能的单词，使其成为一个有效的预测系统。
例如，GPT-3只是屏蔽了句子中的某些单词，要求模型猜测特定单词，并进行修正，最终被训练成为一个预测系统。
但这种方法也让我们对语言有了更进一步的理解。 事实上，对于任何问题或谜题，通常只有几个正确答案和无数错误答案。
对于特定的语言技能，比如解释笑话、单词、逻辑谜题等，它实际上是预测问题的正确答案，从而使机器能够执行缩写、重写、释义等需要语言理解的任务。
正如符号人工智能所期望的那样，知识的表示是依赖于上下文的，在给定前提的情况下输出一个看似合理的句子。
一切都是我们的观点，我们的多少是我们的。
放弃所有知识都是语言的观念可以让我们意识到有多少知识不是用语言表达的。
然而，口头解释概念的能力与实际使用概念的能力并不相同。
例如，一个语言系统可以解释如何执行一个算法，但它不具备执行它的能力； 它还可以解释哪些词是冒犯性的，但不能使用。
进一步分析还可以发现，语言模型的注意力和记忆只持续很短的时间，更倾向于关注前两句，或者下一句。
当涉及到复杂的会话技能时，例如主动倾听、回忆和重温之前的对话、紧扣主题提出特定观点、避免干扰等，语言模型的记忆缺陷就暴露出来了。聊几分钟你就会发现问题例如前后口径不一致。
如果你撤回太多，系统就会重新启动，接受新的视角，或者承认它相信你所说的一切，而形成连贯的世界观所需的理解远远超出了语言模型的知识范围。
不仅仅是语言
尽管书籍包含大量可以解压和使用的信息，但其他格式的信息也很重要。 例如，宜家的使用说明书只有图画，没有文字。 研究人员往往先看论文中的图表，掌握论文结构后再浏览正文； 游客可以沿着地图上的红线或绿线游览城市等。
人类在探索世界的过程中学到了很多东西。 一个只接受语言训练的系统，即使从现在开始训练到宇宙的尽头，也无法拥有接近人类的智能。
语言之所以重要，是因为它能够以小格式传达大量信息，特别是在印刷机和互联网发明之后，可以轻松地大规模复制和应用。
但压缩语言信息并不是免费的：破译一段晦涩的文本需要付出很大的努力。
人文学科课程可能需要大量的课外阅读，这也许可以解释为什么受过语言训练的机器可以知道这么多，但理解却如此之少。
它接触到了人类所有的知识，但是书中的每一句话都包含了大量的信息，仍然难以理解。
语言模型中没有幽灵
当然，语言模型的缺陷并不意味着机器很愚蠢，只是它们的智能存在固有的局限性。
在许多情况下，我们实际上并不需要一个接近人类的代理。 例如，我们不会将图灵测试应用于另一个人，强迫对方做多位数乘法等等。大多数对话只是聊天。
语言可能是我们探索世界的有用工具，但语言并不是智力的全部。 深厚的“非语言理解”能力是理解语言的基础。 它可以加深我们对世界的理解，让我们理解别人在说什么。 什么。
这种非语言的、上下文相关的、生物相关的、具身化的感官知识是人工智能研究人员更关心的，而不是语言学。
大型语言模型没有稳定的身体或持续的注意力来感知世界。 他们仅仅从语言中所能学到的世界是非常有限的，所以学到的常识总是很肤浅的。
参考：
免责声明 ① 本网所刊登文章均来自网络转载;文章观点不代表本网立场,其真实性由作者或稿源方负责 ② 如果您对稿件和图片等有版权及其他争议,请及时与我们联系,我们将核实情况后进行相关删除 ③ 联系邮箱:215858170@qq.com
Copyright © 2017-2018