人工智能的错误与人类的错误有很大不同

IEEE电气电子工程师学会 2025-01-22 15:30

点击蓝字 关注我们

SUBSCRIBE to US


ISTOCK


人类总是会犯错。我们所有人每天在新任务和日常任务中都会犯错。其中一些可能是小错误,而有一些则是灾难性的。错误会破坏我们与朋友之间的信任,会让老板失去对我们的信心,有时还会成为生死攸关的差别。


数千年来,我们创建了安全体系来应对人类常犯的各类错误。如今,赌场会定期轮换发牌员,因为如果他们长时间做同一项工作就会出错。医院工作人员在手术前会在肢体上做标记,这样医生就会在正确的身体部位进行手术,而且他们会清点手术器械以确保没有器械遗留在体内。从文字校对到复式记账再到上诉法院,我们人类已经非常擅长纠正人类的错误了。


人类现在正在迅速将一种完全不同类型的犯错者融入社会:人工智能。像大型语言模型(LLMs)这样的技术能够执行许多传统上由人类完成的认知任务,但它们也会犯很多错误。当聊天机器人告诉你吃石头或者在披萨上加胶水时,这看起来很荒谬。但将人工智能系统的错误与人类错误区分开来的并非其错误的频率或严重程度,而是其怪异之处。人工智能系统犯错的方式与人类不同。


我们使用人工智能所带来的许多摩擦和风险都源于这种差异(https://spectrum.ieee.org/tag/security)。我们需要创造新的安全系统来适应这些差异并防止人工智能错误带来危害。


人类错误vs人工智能错误


生活经验让我们每个人都能相当容易地猜到人类会在何时何地犯错。人类的错误往往出现在某人知识的边缘:我们大多数人在解微积分问题时都会出错。我们预计人类的错误是集中出现的:一个微积分错误很可能伴随着其他错误。我们预计错误会有起有伏,可预见地取决于疲劳和分心等因素。而且错误往往伴随着无知:一个在微积分上犯错的人也很可能会对与微积分相关的问题回答“我不知道”。


就人工智能系统犯这些类人类错误的程度而言,我们可以运用我们所有的纠错系统来处理它们的输出。但当前这批人工智能模型——特别是大型语言模型(LLMs)——犯错的方式有所不同。


人工智能的错误似乎是随机出现的,不会集中在特定的话题上。大型语言模型(LLM)的错误往往在知识领域中分布得更为均匀。一个模型在微积分问题上出错的可能性,可能与它提出卷心菜吃山羊这种说法的可能性一样大。


而且人工智能的错误并不伴随着无知。一个大型语言模型在说出完全错误(而且对人类来说显然是错误)的话时,会和说出正确的话时一样自信。大型语言模型这种看似随机的不一致性,使得人们很难相信它们在复杂的多步骤问题中的推理。如果你想要使用一个人工智能模型来解决商业问题,仅仅看到它理解哪些因素能使产品盈利是不够的;你需要确保它不会忘记货币是什么。


如何应对人工智能错误


这种情况表明了两个可能的研究领域。第一个是设计出会犯更类人错误的大型语言模型(LLMs)。第二个是构建新的纠错系统,以处理大型语言模型往往会犯的特定类型的错误。


我们已经有了一些工具来引导大型语言模型以更类人的方式行事。其中许多工具源于“对齐”研究领域,该领域旨在使模型按照人类开发者的目标和动机行事(https://arxiv.org/abs/2406.18346)。一个例子是可以说是让ChatGPT取得突破性成功的技术:人类反馈强化学习(https://arxiv.org/abs/2203.02155)。在这种方法中,人工智能模型(比喻性地)会因生成得到人类评估者点赞的回复而得到奖励。类似的方法可用于诱导人工智能系统犯更类人的错误,特别是通过对那些较难理解的错误给予更多惩罚。


在捕捉人工智能错误方面,我们用于预防人类错误的一些系统会有所帮助。在一定程度上,迫使大型语言模型(LLMs)对自己的工作进行复核有助于防止错误。但是,大型语言模型也会为自己脱离理性的行为编造看似合理但实则荒谬的解释。


其他针对人工智能的错误缓解系统与我们用于人类的系统完全不同。因为机器不会像人类那样疲劳或沮丧,所以以稍有不同的方式反复向大型语言模型(LLM)提问,然后综合其多个回答是有帮助的。人类不会忍受那种恼人的重复,但机器会(https://arxiv.org/abs/2210.02441)。


理解相似点与不同点


研究人员仍在努力弄清楚大型语言模型(LLM)的错误在哪些方面与人类的错误不同。人工智能的某些怪异之处实际上比乍看起来更像人类。对大型语言模型的查询稍作改变就可能导致截然不同的回应,这一问题被称为提示敏感性。但是,任何调查研究人员都会告诉你,人类也是如此。民意调查中的问题措辞会对答案产生巨大影响(https://psycnet.apa.org/record/1992-97329-001)。


大型语言模型(LLMs)似乎也偏向于重复其训练数据中最常见的词汇;例如,即使被问及更具异域风情的地点时,也会猜测像“美国”这样熟悉的地名。也许这是人类的“可得性启发法”在大型语言模型中的体现,机器会说出最先想到的东西,而不是通过问题进行推理(https://arxiv.org/pdf/2305.04400)。而且,也许像人类一样,一些大型语言模型在处理长篇文档时似乎会分心;它们更能记住开头和结尾的事实。在改进这种错误模式方面已经有了进展,因为研究人员发现,经过更多从长篇文本中检索信息的示例训练的大型语言模型,在统一检索信息方面似乎表现得更好(https://www.anthropic.com/news/claude-2-1-prompting)。


在某些情况下,大型语言模型(LLMs)的怪异之处在于它们比我们认为的更像人类。例如,一些研究人员测试了这样一个假设:当给予现金奖励或受到死亡威胁时,大型语言模型会表现得更好。结果还表明,一些对大型语言模型进行“越狱”(让它们违背创建者的明确指令,https://www.usenix.org/system/files/sec24fall-prepub-1500-yu-zhiyuan.pdf)的最佳方法看起来很像人类彼此使用的那种社会工程学诡计:例如,假装成别人或者说这个请求只是个玩笑。但其他有效的“越狱”技术是人类永远不会上当的。一个研究小组发现,如果他们使用ASCII艺术(由看起来像文字或图片的符号构成)来提出危险问题,比如如何制造炸弹,大型语言模型就会乐意回答。


人类可能偶尔会犯看似随机、不可理解且前后矛盾的错误,但这种情况很少见,而且往往预示着更严重的问题。我们通常也不会让有这些行为表现的人处于决策岗位。同样,我们应该将人工智能决策系统限制在适合其实际能力的应用场景中——同时牢牢记住其错误可能产生的潜在影响。


微信号|IEEE电气电子工程师学会

新浪微博|IEEE中国

 · IEEE电气电子工程师学会 · 


动手协作:建立机器人肌肉记忆

这个背包原型减轻了自身的重量和内部物品的晃动

脑机接口预示着未来生活质量的提高

最新研究表明AI工具能悄无声息地改变我们的观点

IEEE电气电子工程师学会 IEEE是全球最大的专业技术协会之一,一直致力于推动电气电子技术在理论方面的发展和应用方面的进步。IEEE在全球160多个国家有超过四十万名会员。
评论 (0)
  •   卫星图像智能测绘系统全面解析   一、系统概述   卫星图像智能测绘系统是基于卫星遥感技术、图像处理算法与人工智能(AI)技术的综合应用平台,旨在实现高精度、高效率的地理空间数据获取、处理与分析。该系统通过融合多源卫星数据(如光学、雷达、高光谱等),结合AI驱动的智能算法,实现自动化、智能化的测绘流程,广泛应用于城市规划、自然资源调查、灾害监测等领域。   应用案例   目前,已有多个卫星图像智能测绘系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润卫星图像智能测绘系统
    华盛恒辉l58ll334744 2025-04-08 15:04 92浏览
  •   物质扩散与污染物监测系统:环境守护的关键拼图   一、物质扩散原理剖析   物质扩散,本质上是物质在浓度梯度、温度梯度或者压力梯度等驱动力的作用下,从高浓度区域向低浓度区域迁移的过程。在环境科学范畴,物质扩散作为污染物在大气、水体以及土壤中迁移的关键机制,对污染物的分布态势、浓度动态变化以及环境风险程度有着直接且重大的影响。   应用案例   目前,已有多个物质扩散与污染物监测系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润物质扩散与污染物监测系统。这些成功案例为物质
    华盛恒辉l58ll334744 2025-04-09 11:24 53浏览
  • 文/郭楚妤编辑/cc孙聪颖‍伴随贸易全球化的持续深入,跨境电商迎来蓬勃发展期,物流行业 “出海” 成为不可阻挡的必然趋势。加之国内快递市场渐趋饱和,存量竞争愈发激烈。在此背景下,国内头部快递企业为突破发展瓶颈,寻求新的增长曲线,纷纷将战略目光投向海外市场。2024 年,堪称中国物流企业出海进程中的关键节点,众多企业纷纷扬帆起航,开启海外拓展之旅。然而,在一片向好的行业发展表象下,部分跨境物流企业的经营状况却不容乐观。它们受困于激烈的市场竞争、不断攀升的运营成本,以及复杂的国际物流环境,陷入了微利
    华尔街科技眼 2025-04-09 15:15 74浏览
  •   工业自动化领域电磁兼容与接地系统深度剖析   一、电磁兼容(EMC)基础认知   定义及关键意义   电磁兼容性(EMC),指的是设备或者系统在既定的电磁环境里,不但能按预期功能正常运转,而且不会对周边其他设备或系统造成难以承受的电磁干扰。在工业自动化不断发展的当下,大功率电机、变频器等设备被大量应用,现场总线、工业网络等技术也日益普及,致使工业自动化系统所处的电磁环境变得愈发复杂,电磁兼容(EMC)问题也越发严峻。   ​电磁兼容三大核心要素   屏蔽:屏蔽旨在切断电磁波的传播路
    北京华盛恒辉软件开发 2025-04-07 22:55 238浏览
  • HDMI从2.1版本开始采用FRL传输模式,和2.0及之前的版本不同。两者在物理层信号上有所区别,这就需要在一些2.1版本的电路设计上增加匹配电路,使得2.1版本的电路能够向下兼容2.0及之前版本。2.1版本的信号特性下面截取自2.1版本规范定义,可以看到2.1版本支持直流耦合和交流耦合,其共模电压和AVCC相关,信号摆幅在400mV-1200mV2.0及之前版本的信号特性HDMI2.0及之前版本采用TMDS信号物理层,其结构和参数如下:兼容设计根据以上规范定义,可以看出TMDS信号的共模电压范
    durid 2025-04-08 19:01 157浏览
  • 在人工智能技术飞速发展的今天,语音交互正以颠覆性的方式重塑我们的生活体验。WTK6900系列语音识别芯片凭借其离线高性能、抗噪远场识别、毫秒级响应的核心优势,为智能家居领域注入全新活力。以智能风扇为起点,我们开启一场“解放双手”的科技革命,让每一缕凉风都随“声”而至。一、核心技术:精准识别,无惧环境挑战自适应降噪,听懂你的每一句话WTK6900系列芯片搭载前沿信号处理技术,通过自适应降噪算法,可智能过滤环境噪声干扰。无论是家中电视声、户外虫鸣声,还是厨房烹饪的嘈杂声,芯片均能精准提取有效指令,识
    广州唯创电子 2025-04-08 08:40 185浏览
  • 在万物互联时代,智能化安防需求持续升级,传统报警系统已难以满足实时性、可靠性与安全性并重的要求。WT2003H-16S低功耗语音芯片方案,以4G实时音频传输、超低功耗设计、端云加密交互为核心,重新定义智能报警设备的性能边界,为家庭、工业、公共安防等领域提供高效、稳定的安全守护。一、技术内核:五大核心突破,构建全场景安防基座1. 双模音频传输,灵活应对复杂场景实时音频流传输:内置高灵敏度MIC,支持环境音实时采集,通过4G模块直接上传至云端服务器,响应速度低至毫秒级,适用于火灾警报、紧急呼救等需即
    广州唯创电子 2025-04-08 08:59 145浏览
  •     根据 IEC术语,瞬态过电压是指持续时间几个毫秒及以下的过高电压,通常是以高阻尼(快速衰减)形式出现,波形可以是振荡的,也可以是非振荡的。    瞬态过电压的成因和机理,IEC 60664-1给出了以下四种:    1. 自然放电,最典型的例子是雷击,感应到电力线路上,并通过电网配电系统传输,抵达用户端;        2. 电网中非特定感性负载通断。例如热处理工厂、机加工工厂对
    电子知识打边炉 2025-04-07 22:59 142浏览
  •   卫星图像智能测绘系统:地理空间数据处理的创新引擎   卫星图像智能测绘系统作为融合卫星遥感、地理信息系统(GIS)、人工智能(AI)以及大数据分析等前沿技术的综合性平台,致力于达成高精度、高效率的地理空间数据采集、处理与应用目标。借助自动化、智能化的技术路径,该系统为国土资源管理、城市规划、灾害监测、环境保护等诸多领域输送关键数据支撑。   应用案例   目前,已有多个卫星图像智能测绘系统在实际应用中取得了显著成效。例如,北京华盛恒辉北京五木恒润卫星图像智能测绘系统。这些成功案例为卫星
    华盛恒辉l58ll334744 2025-04-08 16:19 77浏览
  • ## DL/T645-2007* 帧格式:* 帧起始字符:68H* 地址域:A0 A1 A2 A3 A4 A5* 帧起始字符:68H* 控制码:1字节* 主站:* 13H:请求读电能表通信地址* 11H:请求读电能表数据* 1CH:请求跳闸、合闸* 从站:* 91H:正常应答读电能表* 9CH:正常应答跳闸、合闸* 数据域长度:1字节* 数据域:DI0 DI1 DI2 DI3* 发送方:每字节+33H* 接收方:每字节-33H* 数据标识:* 电能量* 最大需量及发生时间* 变量* 事件记录*
    四毛打印店 2025-04-09 10:53 51浏览
  • 文/Leon编辑/侯煜‍就在小米SU7因高速交通事故、智驾性能受到质疑的时候,另一家中国领先的智驾解决方案供应商华为,低调地进行了一场重大人事变动。(详情见:雷军熬过黑夜,寄望小米SU7成为及时雨)4月4日上午,有网友发现余承东的职务发生了变化,华为官网、其个人微博认证信息为“常务董事,终端BG董事长”,不再包括“智能汽车解决方案BU董事长”。余承东的确不再兼任华为车BU董事长,但并非完全脱离华为的汽车业务,而是聚焦鸿蒙智行。据悉,华为方面寻求将车BU独立出去,但鸿蒙智行仍留在华为终端BG部门。
    华尔街科技眼 2025-04-09 15:28 71浏览
  •   物质扩散与污染物监测系统软件:多领域环境守护的智能中枢   北京华盛恒辉物质扩散与污染物监测系统软件,作为一款融合了物质扩散模拟、污染物监测、数据分析以及可视化等多元功能的综合性工具,致力于为环境科学、公共安全、工业生产等诸多领域给予强有力的技术支撑。接下来,将从功能特性、应用场景、技术实现途径、未来发展趋势等多个维度对这类软件展开详尽介绍。   应用案例   目前,已有多个物质扩散与污染物监测系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润物质扩散与污染物监测系统。这
    华盛恒辉l58ll334744 2025-04-09 14:54 91浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦