财经新闻网消息：
编译 | 明彦
编辑| 徐山
据科技网站 Ars 报道，来自斯坦福大学的研究专家和《AI 写作检测器》的作者表明，AI 写作检测器无法准确判断一段文本是否是由 AI 生成的。 于是，一些学生在错误的测试结果面前不得不自证清白。
AI书写检测器的原理是基于人类书写并由AI生成的文本语料库，根据现有文本检测提交给系统的文本，以确定其是否由AI书写。 这个过程导致的悖论是：人工智能可以模仿人类写作，人类也可以模仿人工智能写作。 因此，专家认为，对于教师来说，AI写作测试不应该用来检查学生，而应该教会学生使用AI辅助写作，真正了解学生对现有知识的掌握程度。
1. AI检测原理——经验与可变性
如果你上传美国宪法文本，系统检测结果会显示该文本“可能完全由AI编写”。 这似乎在说詹姆斯·麦迪逊（詹姆斯，美国宪法之父、美国制宪会议代表、《美利坚合众国宪法》起草者和签署者之一）是一个机器人。 同样，如果上传了圣经的文本，系统也会判定该文本是由AI生成的。
▲输入美国宪法部分文本时，系统判断该文本是由AI/GPT生成的
在网络上，这一系列误判被广泛传播。 为了解释为什么这些检测工具会犯如此明显的错误，我们首先需要了解它们是如何工作的。
不同的AI书写检测器使用的检测方法略有不同，但其原理基本相似，即基于大量的文本训练和猜测规则。 这些文本和规则决定系统是否确定上传的文本更有可能是由人类编写还是由人工智能生成。
例如，公司的文本来源是大型人工编写和人工智能生成的文本语料库，主要语料库是英语散文。 基于此，系统利用了“经验”（指根据过去的经验，语言是否超出一般经验的判断）和“可变性”（普通人类写出的句子长度会交替变化，而这种变化自然是人类表达的结果）等属性来评价文本并做出判断。
在机器学习中，经验是衡量一段文本与人工智能模型训练期间学到的内容之间差距的指标。 AI公司Face的一位医生表示，“经验性是‘这句话对我来说有意义吗？’的函数。”
换句话说，体验背后的逻辑是，AI生成的文本自然会最接近AI的训练数据，所以体验越高，体验越高。 但问题是，人类也可以用高“经验”来写作，尤其是在法律写作或其他类型的学术写作中，作者使用的句子非常固定。
即使在日常对话中，也有很多高度“体验”的表达，比如我想要一杯水。 但如果是“我想要一杯蜘蛛”，人类和AI都会对这句话感到困惑，所以他的经验会很低。
▲“我想要一杯蜘蛛”的搜索结果只有一个，所以这个词组匹配的经验值会很低。
因此，在“经验”标准下，美国宪法被认为是由人工智能生成的。 原因是体质的语言内容多次出现在AI训练数据中，因此AI检测系统做出了误判。
但问题是人类可以创造共同的内容。 人类也可以只使用常用短语，例如“我想要一杯咖啡”。 因此，凭经验来判断是否是人类的创造是不恰当的。
▲ 《圣经》创世记的一部分被标记为 88.2% AI 生成
判断文本的另一个标准是“可变性”，它评估整个文本中句子长度和结构的交替。
人类的写作风格通常会有所不同，无论是文本中句子的长度还是结构。 例如，在一个长句子之后，我们会跟一个短句子。 这种变化是自然的。
相比之下，人工智能生成的文本更加稳定和统一。 AI语言模型还处于起步阶段，生成的文本比较标准，长度和结构都比较统一。 这种稳定性可能会导致较低的变异性分数，并且决策文本可能是人工智能生成的。
然而，变异性指标并不是万无一失的。 人类还可以以高度结构化和一致的风格进行写作，从而降低变异性分数。 相反，我们还可以训练人工智能模型来模仿人类文本的可变性，从而提高其可变性分数。 事实上，随着人工智能语言模型的迭代，它们的写作看起来越来越像人类的写作。
因此，根据前两个标准，AI书写检测无法准确判断一段文字是否是人写的。
2.部分学生成为AI检测误判的受害者
一些教育工作者正在拥抱将这种人工智能技术融入现实，并积极推广使用人工智能等工具来辅助学习。 沃顿商学院的伊森教授就是其中之一。
“没有任何工具可以可靠地检测 -4/Bing/Bard 书写，”教授最近在推特上写道。 “现有工具是在 GPT-3.5 上进行训练的。它们的误报率很高（10% 以上），而且很容易产生误导。” 另外，没有办法评估该文本是否是由AI编写的，我们无法粘贴一段文本然后询问它是否是由AI编写的。
的作者似乎意识到人工智能书写检测的未来行不通，并表示他计划让自己的公司远离人工智能书写检测。 他说：“我们正在构建检测器来捕捉正在写作的学生。并且，下一个版本将不再检测AI文本，而是帮助教师和学生一起使用AI，让AI能够参与教育。”
那么他对人们利用支票来检查学生的学术不端行为有何看法呢？ 他说：“我们不希望人们用人工智能来惩罚学生。在教育方面，应该停止个人对人工智能的依赖。比如，有的老师会用人工智能检测来惩罚学生，有的老师擅长用人工智能检测来惩罚学生。”人工智能技术，政府和学校应该共同制定正确的政策来对待使用人工智能技术的学生，直到我们了解学生的真实学习进度，以及人工智能在这个过程中的参与程度。
然而，误判问题并没有得到解决，其作者仍然将AI写作检测宣传为“为教育工作者打造”。 然而，这些高误报产品的使用有可能给学生带来伤害，而付出代价的只有那些受委屈的学生。
▲网站截图
在《今日美国》之前报道的一个案例中，一名被指控使用人工智能工具作弊的学生被迫在荣誉委员会面前为自己辩护。 他的辩护包括展示他的谷歌文档历史和他的研究过程。 尽管董事会没有发现作弊的证据，但自卫的压力引起了学生们的极度恐慌。 类似的场景在美国至少上演了数十次。
对学术不端行为的常见处罚通常包括成绩不及格、留校察看、停学甚至开除，具体取决于违规的严重程度和频率。 这种处罚的问题在于，使用错误判断的技术提出这些严重指控对学生来说是极其不公平的。
3.人工智能写作可能永远不会被监控
在实际研究中，AI写作检测也存在误报和歧视非英语母语者的问题。 2023年，马里兰大学研究人员的一项研究表明，AI书写检测在实际应用中表现平平，误报率很高。
AI书写检测产品研究员西蒙表示：“这只是一个‘万能药’（指毫无意义的产品）。尤其是在很难证明这个产品是否有用的时候，大家都希望这个系统能够被有用。”
此外，斯坦福大学研究人员最近的一项研究也表明，AI 书写检测可能会歧视非英语母语人士。 如果人工智能书写检测得到广泛应用，非英语母语人士的书写误报率就会很高，他们将处于非常被动的地位。
显然，人工智能书写检测并不是万无一失的。 人类可以像机器一样写作，机器也可以像人类一样写作。 也许是时候思考写作的核心问题了：在机器的帮助下，作者自己能理解他们在说什么吗？ 有能力的读者或老师应该能够轻松判断某人是否正在使用人工智能工具进行超出其能力的写作。
人工智能辅助写作将继续存在，如果使用得当，人工智能可能会以更负责任和更道德的方式协助写作。 如果教师希望鼓励人工智能辅助工具的有效应用，他们可以问以下问题：写作是否反映了作者的意愿和知识？ 作者能否证实所写的每个事件的真实性？
教师还可以在事后对学生的写作进行测试，看看他们的理解程度。 写作不仅仅是知识的展示，更是语言的表达。 如果作者无法清楚地表达所写的每一个事实，那么人工智能就无法提供应有的帮助。
▲AI生成图像：机器人辅助学生学习
AI辅助写作仍然是一个工具，存在使用不当或不熟练的情况。 您使用的工具是根据具体情况而定的：您可以用画笔绘制整面墙，或者创建蒙娜丽莎。 这两种情况都是该工具的适当用途，但每种情况都需要不同的人的注意力和创造力。 同样，人工智能工具可以适度加快一些死记硬背的写作任务（例如生成文档摘要等），而更复杂的任务则需要更多的人力。 任何事情都没有非黑即白的解决方案。
目前，虽然教育工作者对人工智能工具不知所措，但他认为任何人都不应该使用人工智能写作检测。 他表示：“我不是人工智能检测方面的技术专家，但我可以从一个使用人工智能的教育者的角度来看待这一点。截至目前，人工智能写作是不可检测的，而且很可能会继续如此。人工智能检测器的误报率高，所以我不建议继续使用它们。”
结论：修正AI的工具属性
无论是AI写作还是人类写作，其本质都是掌握和学习的过程，而人类比AI更独特的地方就是创新。 一方面，教师可以通过对学生增加其他形式的检查来保证学生对知识的掌握； 另一方面，教师可以带领学生还原人工智能的工具属性，利用人工智能辅助研究和教学。
如今，生成式人工智能蓬勃发展，人工智能技术逐渐在各行业扎根。 各行业、各领域可以结合从业者的经验和AI技术人员的技术知识，提前对可能出现的滥用行为进行技术处理，提前预防滥用行为。 在使用人工智能技术的过程中，还应保持实时监控，并及时制止和处罚相应的滥用行为和侵权行为。
免责声明 ① 本网所刊登文章均来自网络转载;文章观点不代表本网立场,其真实性由作者或稿源方负责 ② 如果您对稿件和图片等有版权及其他争议,请及时与我们联系,我们将核实情况后进行相关删除 ③ 联系邮箱:215858170@qq.com
Copyright © 2017-2018