美国乔治敦大学安全与新兴技术中心的一篇论文指出,克服机器学习的规格描述挑战,是迈向更高AI安全性的关键步骤。

设计机器学习应用程序的一个关键挑战,是在软件程序代码当中精确地描述开发者想要系统执行的工作。美国乔治敦大学(Georgetown University)安全与新兴技术中心(Center for Security and Emerging Technology)不久前发表的一篇论文作者强调,克服机器学习的规格描述挑战,是迈向更高人工智能(AI)安全性的关键步骤。

上述论文作者将AI安全性规格(specification)定义为在程序代码中传达机器学习系统应该要执行之工作的详细描述,或者他们所称的“人类特有目标”(human-specific objective)。一个例子是在排列的图片方块中找出“红绿灯”的CAPTCHA图砖验证系统(EETT编按:在一些网站可以见到,用以区分机器人与人类的验证步骤)。而像是训练模型的步骤规则未包括在内。

为了让机器学习能辨识各种图形,开发人员会详述关键目标。该目标函数代表一套学习算法的核心成分,阐述一个模型在搜集更多的训练资料时该如何学习。

 

为机器学习订定明确目标是确保AI安全性关键。

而在开发者试图从功能有限的应用程序迈进更具挑战性的真实世界应用程序之同时,AI安全性规格是研究人员最关注的议题之一。上述乔治敦大学论文的共同作者Helen Toner在接受访问时表示:“已经有越来越多基础研究聚焦于AI安全性与可靠性,以及对AI性能的理解。”

她指出:“那些AI系统的可解释性(interpretability),在此是另一个真正有用的输入,能让你了解,依据应用以及哪一类保证是你所需要的,是否有更好的方法从概念上去了解这些系统里面到底发生什么事情,这也是相当有价值。在我看来,这是此堆栈底部的基础科学部份。”

随着机器学习逐渐演进,从产品推荐等较狭窄的应用,发展到诸如自动驾驶等关键性任务,对于安全性规格的需求也跟着成长。“当机器学习系统变得更先进,将会被配置在越来越复杂的环境,以执行日益复杂的任务;”论文作者指出:“这时候规格问题可能会开始变得棘手。”

该作者指出,对开发者来说,更大的责任是以新的方法在程序代码中传达其意图,让机器学习服从“被赋予的规则之字面意义,并非精神。”包含人类监督或迈向预测最坏情况之步骤的算法,被推荐做为一个克服“错误设定规格”的方法。

还需要的是更多研究,了解开发人员如何在程序代码当中传达细微、复杂的目标,并确保他们所设计的系统能够达成这些目标。而在那之前,论文作者警告,机器学习仍应该被局限在“狭窄、严格规范的设定中。”

本文同步刊登于《电子工程专辑》台湾版杂志20221月号

编译:Judith Cheng

(参考原文:Specifying Objectives is Key to AI Safety,By George Leopold)

责编:Luffy
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣
最近收到一款Jetson Orin Nano Super开发套装,我打算拿它来做个简单的AI应用开发...在没有任何AI应用和嵌入式应用开发经验的基础上...主打传说中的零代码开发~
“物理智能(Physical AI)”,黄仁勋在CES 2025上发表主题演讲时提出的新概念。他指出,即将全面到来的“Physical AI”时代,将是在1000万工厂、20万仓库、15亿汽车和卡车及海量人形机器人之上应用的下一波万亿规模市场驱动力。
微软还强调,拜登政府的《人工智能扩散出口管制框架》限制了美国向许多快速增长且具有战略意义的市场出口关键AI组件,破坏了特朗普政府的两项优先事项:加强美国的AI领导地位以及减少美国近万亿美元的贸易逆差。
该标准旨在为养老机器人的设计、制造、测试和认证提供统一规范,推动全球养老机器人产业的健康发展,通过明确养老机器人的功能与性能分类,确保其在互联家居环境中的有效应用。
2月以来,一些人形机器人头部企业高薪案例值得关注。其中,宇树科技招聘机器人感知算法工程师、机器人控制算法专家等岗位,月薪可达7万元至10万元。智元机器人SLAM算法专家月薪4-7万元,年薪超百万(15薪制)。
在应对美国加码措施上,中国一方面应该依托自身庞大的垂直应用场景,特别是工业制造领域,在做大做强中国制造的同时,推动国产AI芯片的替代,另一方面仍需加大基础研究投入,重点突破AI芯片设计、半导体设备和先进工艺制程。
TEL宣布自2025年3月1日起,现任TEL中国区地区总部——东电电子(上海)有限公司高级执行副总经理赤池昌二正式升任为集团副总裁,同时兼任东电电子(上海)有限公司总裁和东电光电半导体设备(昆山)有限公司总裁。
预计在2025年,以下七大关键趋势将塑造物联网的格局。
领域新成果领域新成果4月必逛电子展!AI、人形机器人、低空飞行、汽车、新能源、半导体六大热门新赛道,来NEPCON China 2025一展全看,速登记!
本次股东大会将采取线上和线下相结合的混合形式召开,股东们可选择现场出席或线上参会。
今日光电     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光引未来...欢迎来到今日光电!----追光逐电 光引未来----图1 采用自上而下方法实
回顾2024年,碳化硅和氮化镓行业在多个领域取得了显著进步,并经历了重要的变化。展望2025年,行业也将面临新的机遇和挑战。为了更好地解读产业格局,探索未来的前进方向,行家说三代半与行家极光奖联合策划
市值一夜蒸发2900亿”作者|王磊编辑|秦章勇特斯拉陷入一个怪圈。马斯克的权力越来越大,但特斯拉的股价却跌得越来越惨。就在昨天,特斯拉股价又下跌了4.43%,一天之内蒸发406亿美元,约合人民币295
差分运算放大电路,对共模信号得到有效抑制,而只对差分信号进行放大,因而得到广泛的应用。差分电路的电路构型    上图是差分电路。    目标处理电压:是采集处理电压,比如在系统中像母线电压的采集处理,
从上表可知,2024年前三季度全球40强PCB企业总营收约416.7亿美元,同比增长7.6%。其中,营收排名第一位的是臻鼎科技(36.05亿美元),排名第2~5位的分别是欣兴电子(26.85亿美元)、
新思科技与国际半导体产业协会基金会(SEMI 基金会)近日在新思科技总部宣布签署一份谅解备忘录(MoU),携手推动半导体芯片设计领域的人才发展。据预测,到 2030 年,全球半导体行业将需要新增 10
今日光电     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光引未来...欢迎来到今日光电!----追光逐电 光引未来---- 来源:时光沉淀申明:感
2025年3月11-13日,亚洲激光、光学、光电行业年度盛会的慕尼黑上海光博会将在上海新国际博览中心-3号入口厅N1-N5,E7-E4馆盛大召开。本次瑞淀光学展示方案有:■ MicroOLED/Min
                                                                                                
在3月4日北京市政府新闻办公室举行的发布会上,北京经济技术开发区(北京亦庄)发布消息称,将于4月13日举行北京亦庄半程马拉松赛,全球首个人形机器人半程马拉松赛将同期举行。会上表示,人形机器人将与运动员