译者：何瑞麟，关天海，胡少波，庄琰，刘欣，段承序，王玉虎，于栖洋

一、引言

关于致命自主武器系统(LAWS)的国际争论已经进行了近十年。^[1]2012年，国防部(DoD)发布了关于具有自主功能的武器系统的正式政策指南，^[2]自2014年以来，各国齐聚一堂，通过联合国特定常规武器公约(CCW)讨论致命自主武器系统。CCW的讨论因缺乏商定的致命自主武器系统定义而受到阻碍。^[3]然而，CCW缔约国在2019年同意，“必须保留”对使用武器系统和使用武力的决定的“人的责任”。^[4]因此，现在的讨论倾向于集中确保遵守国际人道主义法和满足伦理关切所需的人的参与的类型和程度。^[5]

几位学者认为，这些讨论应侧重于“在军事背景下发展对自主的客观的、普遍持有的和以功能为基础的理解”。^[6]本文件的前提是，实现这种理解的最佳方式是制定、辩论和商定在武装冲突中使用具有自主功能的武器系统的一些普遍接受的原则。^[7]这是有关战争自主的法律、伦理和道德问题最尖锐和最值得关注的地方。

这七项新原则集中于在武装冲突中负责任地使用自主功能，以保持人类对使用武力的判断和责任，并帮助将失去控制的可能性降到最低。

本文为这些讨论提供了一个起点。本文提出的七个原则旨在补充和加强现有的国防部指导，包括美国国防部指令(DoDD) 3000.09，武器系统的自主性，和国防部的人工智能(AI)原则。^[8]它们也符合CCW在其”禁止或限制使用某些可被认为具有过度伤害性或滥杀滥伤作用的常规武器公约缔约国会议”在2019年通过的11项指导原则。^[9]这七项新原则集中于在武装冲突中负责任地使用自主功能，以维护人类对使用武力的判断和责任，并有助于最大限度地减少失去对系统的控制或意外交战的可能性，特别是针对非战斗人员的可能性。

本文共分四个部分。第一部分详细介绍了美国具有自主功能的武器系统的历史。它的目的是让读者了解这些武器在历史上是如何使用的，为什么自主功能如此有用，以及为什么国防部保留了使用它们的权利。第二部分解释了为什么现在通过增加人工智能来改进具有自主功能的武器，这是一项重要的发展，旨在使武器在使用武力时更具辨别能力。第三部分解释了为什么国防部应该考虑发布一套新的具有自主功能的武器系统作战使用的原则。最后一部分概述了供审议的七项拟议原则。

二、自主功能武器系统简史

美国第一个大规模生产的具有自主作战功能的武器系统是二战期间开发的空投被动声自导鱼雷。1943年5月，Mk24“Fido”首次亮相作战，使用鱼雷中部周围排列的水听器监听、定位、跟踪和瞄准攻击盟军跨大西洋航运的德国U-boats。^[10]

战后不久，美国军方开始在更大的武器系统中引入自主功能，特别是防空作战系统。这一举动最初是由1945年冲绳附近的神风敢死队密集突袭推动的，后来又因威胁对美国本土发动原子空袭而加速。赛其半自动地面防空系统(SAGE)是从20世纪50年代末开始设计的，目的是指挥和控制美国的大陆防空。它可以接受散布在美国大陆周边的各种雷达传感器的输入，自动生成报告目标的“轨迹”，并向人类操作员突出显示射程内有能力进行拦截的任何防空系统。^[11]然后操作员将命令适当的防御系统与目标交战。后来，Sage可以直接向“枪手”提供最新信息，而无需中间的人为干预。^[12]1956年，海军开始开发海军战术数据系统(NTDS)--这是SAGE的一个较小版本，用于控制海军特遣部队的防空。^[13]

最终，美国军方开发、测试并部署了武器系统，将所有与交战相关的自主作战功能结合了起来。

随着计算机变得越来越小，特别是在数字微处理器出现之后，飞机、舰艇、地面作战车辆以及火炮和导弹火力控制系统中的各种类型的作战控制系统在整个部队中大量出现。随着时间的推移，随着技术的进步，军方在与交战有关的弹药和武器系统的功能中增加了更大的自主权，包括但不限于：获取、跟踪和识别潜在目标；向操作人员提示潜在目标；确定选定目标的优先次序；何时开火；或者提供终端引导，以锁定选定的目标^[14]。

正如这些功能所示，交战是以攻击目标为目的的一系列行动。在军事术语中，这种序列通常被称为“侦察-交战”序列或“杀伤链”。最终，美军开发、测试和部署了武器系统，将所有与交战相关的自主作战功能结合起来。就弹药而言，这些活动产生的武器一旦由人类操作员发射，就对其行为有一定程度的自治，使其能够完全独立完成攻击序列。这些武器包括射击和遗忘制导弹药以及两国射击和遗忘制导弹药。

“射后不管”制导弹药可以独立地瞄准操作员选定的特定目标或瞄准点。例如上述的Fido和海军的SWOD-9BAT，1945年成为第一个在战斗中使用的自主、雷达制导的反舰滑翔炸弹。^[15]战后，射击和遗忘武器激增。AIM-9热寻的红外制导空空导弹于1958年首次投入战斗，^[16]激光制导武器在越南战争中首次投入使用，全球定位系统（GPS）制导导弹和炸弹在沙漠风暴期间及以后使用。^[17]

这些例子证明，美国军方已经对具有自主功能的武器系统进行了八十年的整合

两级“射后不管”制导导弹被设计用于打击由人类操作员选定的特定密集目标群。第一阶段包括制导的有效载荷总线，该制导的有效载荷总线释放目标群上的制导子弹药。然后，每个子弹药都可以在没有人工干预的情况下选择并参与该小组中的特定目标。例如，陆军战术导弹系统（ATACMS）的设计目的是向190英里范围内提供6枚出色的反装甲技术（BAT）子弹药；每个BAT都有能力搜寻和攻击敌方装甲车。1991年，第一个ATACMS投入使用，但设计用于携带BAT的变型从未投入使用。^[18]部署并使用的一种两级“射后不管”制导导弹空投的CBU-105修正风弹药分配器（WCMD），可引导目标人群并释放40枚小型“传感器融合”武器或“飞碟”。每个飞碟都可以使用激光和红外传感器的组合来独立选择和使用装甲车。理想情况下，单个CBU-105可以在1,500 x 500英尺的区域内攻击目标群体。但是，通过在更高的高度放飞飞碟，WCMD可以吸引分布在15英亩区域上的目标群体。该弹药于1999年部署，并在2003年伊拉克战争中具有毁灭性影响。^[19]

这些例子证明，美国军方已经对具有自主功能的武器系统进行了八十年的整合。作为人类激活的杀伤链的一部分，它们在战斗中被证明是有效，可靠和安全的。 因此，很早以前，美国战机就在交战序列结束时给予武器代用，以选择和交战目标，尤其是当这些目标不在其视线范围内时。一旦激活，武器系统将导航到目标或特定目标组的附近，使用机载传感器对其进行检测，在其视场内对特定目标进行分类和选择，然后自行完成攻击。但是，由于人类是选择要攻击的目标或特定目标组，因此国防部认为这些武器是半自主的。^[20]如DoDD 3000.09中所述，“半自治武器系统的设计必须使得……。系统不会自主选择和参与未由授权操作员事先选择的单个目标或特定目标组。”（强调）。^[21]

相反，一旦被激活，自主武器系统就可以选择并参与先前未被人类操作员指定攻击的目标。^[22]开发这种武器的目的是在人类无法或积极寻找更广阔区域的目标的环境中进行操作由于自主武器系统完全自行选择和交战目标，因此这种武器对友军或盟军或非战斗人员进行意外交战的风险要高于半自主武器。

自主武器系统分为三种不同的类型：静态搜索武器，有界搜索武器和人类监督的自主武器系统。

因此，美军在开发和使用这种武器系统方面一直持谨慎态度，并且有意地以两种方式限制了它们的操作。首先，它们被设计为仅使编码为复杂的自动目标识别算法的特定类别的目标（例如，船舶或制导导弹发射器）参与。这些是模式匹配算法，用于将潜在目标特征与批准目标库进行比较。如果库中没有潜在目标，则该武器将不会发起攻击。^[23]而且，其搜索参数受其分配的搜索区域的大小和授权搜索的持续时间的限制。

自主武器系统分为三种不同的类型：静态搜索武器，有界搜索武器和人类监督的自主武器系统。^[24]

静态搜索武器包括CAPTOR（封装的鱼雷），这是在冷战时期于1979年投入使用的一种深水雷。^[25]按照设计，该武器系统将被放置在深水中，锚定在海底并被激活。它具有自己的向上声纳系统，可以忽略水面舰艇，只侦听潜艇。 在发生战争的情况下，CAPTOR在侦察敌对（苏联）潜艇时会释放其鱼雷，然后鱼雷会潜入潜艇并将其击沉。换句话说，一旦安放并激活了地雷，武器系统就可以检测，分类和攻击自己的目标，而无需任何进一步的人为监督或干预。^[26]但是，与CAPTOR进行任何意外接触的风险非常低：在海底作业领域中没有平民物体； 矿场的参与逻辑忽略了水面舰艇，只寻找一种特殊类型的声学特征。 友好的盟军潜艇会知道CAPTOR雷场的位置，并避开它们。

有界搜索武器可以监视规定的搜索区域（通常称为“杀戮盒子”），以搜寻和攻击位置不精确的目标群体或目标类别。这些通常被称为“游荡武器”。例如战斧反舰导弹（TASM）和低成本自主攻击系统（LOCAAS）。雷达制导的TASM于1980年代初部署，在敌方舰艇上向生成的目标射击，目标瞄准范围很广。在飞出结束时，如果未检测到目标，则TASM将开始雷达搜索模式，以覆盖不确定性区域，该不确定性区域是自武器发射以来目标船以最大速度移动了多远。 TASM从未在战斗中使用过，也不再在服役中使用。^[27]

对于半自主武器，人类选择目标或特定目标群并随后激活该武器。对于自动武器，人类激活武器后武器来选择并攻击目标。

LOCAAS是在沙漠风暴行动后开发的，其目的是寻找隐藏的弹道导弹发射器并实践“打了就跑”战术。它可以飞出70英里远，搜索62平方英里的杀伤区，并摧毁任何被发现的特征与已认证目标库中特征相匹配的目标。针对更近的目标LOCAAS可以搜索更大的区域，因为它将有更多的剩余燃料用于其任务的搜索部分。尽管LOCAAS得到了开发并成功测试，但它从未投入使用，因为国防部领导层担心意外交战的风险太高，尤其是当搜索区域扩大或任务持续时间延长时。正如DoDD 3000.09中所解释的那样，具有自主功能的武器系统需要设计成“在符合指挥官和操作者意图的时间窗内完成作战，如果无法完成，则在继续作战之前终止作战或寻求额外的人类操作者输入。”^[28] .虽然数据链接可以解决这个问题，但它会增加系统的成本，并带来新的操作漏洞。因此，这种武器从未被使用过。^[29]

人类监管的自主武器系统具有以下特征：一旦启动，就可以自己选择和攻击目标，但是如果意外攻击的风险变得太高，则设计成允许操作人员覆写它们的操作。^[30]这些“人在回路上（human-on-the-loop）”的系统包含具有自动化或自动模式防空系统，其旨在应对会使人类操作员不堪重负的大规模空中或导弹袭击。^[31]这些类型的系统从20世纪80年代开始出现，当时陆军引入了爱国者空中和导弹防御系统，海军引入了宙斯盾作战系统进行舰艇空中和导弹防御。虽然一经启动，两个系统都能够在监督下自主运行，但如有必要，两个系统都可以迅速恢复到人工控制。这一点在友军飞机于防御空域飞行时尤其重要。

这些自主武器和前面提到的半自主武器的一个明显差异是武器何时被“激活”。对于半自主武器，人类选择目标或特定目标群并随后激活该武器。对于自动武器，人类激活武器后武器来选择并攻击目标。

这些例子证明，美国军方只在严格规定的情况下追求自主武器系统。然而，到2009年，在奥巴马政府执政之初，自主技术已经发展到武器设计者向国防部长办公室寻求关于武器系统自主功能容许的限制边界相关指导的地步。这种指导是以2012年11月发布的上述DoDD 3000.09《武器系统中的自主性》的形式呈现的。

三、下一步：开发改进的AI

DoDD 3000.09确立了国防部的官方政策并分配了开发和使用武器系统中自主和半自主功能的责任，其中也包括了有人和无人系统。该指令要求指挥官和操作员在使用武力时必须始终具有适当的人类判断水平。^[32]该指令的主要目标是“将自主和半自主武器系统中可能导致意外交战的失败概率和后果最小化。”^[33]

根据战争法的要求，长期以来避免意外交战一直是美国作战指挥官和作战人员的首要任务。迄今为止，武器系统中的自主功能有助于实现这一目标的主要方式是提高传感器和武器的准确性。非制导武器战争的关键特征是，大多数炮弹、炸弹、鱼雷和火箭都没有击中预定目标，并且偏离目标的距离会随射程增加迅速增长。武器的准确性是通过圆概率误差(Circular Error Probable, CEP)来测量的，即一个以目标为中心的圆的半径，在这个圆中50%的射击无法命中。例如，第二次世界大战中，美国投在德国上空的炸弹CEP是3300英尺。^[34]因此，美国陆军航空兵将最多1000架轰炸机的编队集中在一个目标上空以增加预期目标实际被击中的统计概率。而且，由于所有投下的炸弹中有一半在离目标3300英尺以上的地方爆炸，对平民和民用基础设施造成的附带损害是预料之中的，也是公认的战争事实。

武器发展的下一个阶段将是升级版的AI赋能的自主机制的引入

目前在导航功能,目标识别,和中期和终端制导方面，升级版的自主机制的使用使制导武器已经全面转向到比前几代非制导武器精确得多的制导武器。这种制导武器可以做到无论对目标的距离是多少，平均脱靶距离都在几十英尺以内。因此，制导弹药允许更小但更精确的齐射，大大减少了附带伤害。此外，精度的提高使得较小的弹头能够达到同样的目标预期效果，从而减少更多的附带伤害。^[35]

武器发展的下一个阶段将是升级版的AI赋能的自主机制的引入。一种预期是，“智能武器”将允许新的协作武器共享目标信息，并在发射后自动协调打击。这种协同武器齐射将有助于混淆、压制或逃避敌人的防御，并补偿在敌人防御中损失的武器。这将允许攻击策划者进一步减少齐射的规模，并且实现对目标的打击。^[36]人工智能支持的自主功能还将允许一种特殊类型的协同攻击，使用小型、低成本的弹药群，这也将带来困难的防御问题。^[37]这些新的AI赋能的机制预计将有助于保存美国联合部队的“弹药库深度”，这对远征行动的整体部队效力和持久力至关重要。^[38]

AI驱动的机制也可能有助于减轻主要由于目标识别错误所造成意外战斗。在一项对阿富汗作战行动的分析中，美国造成的平民伤亡中，大约有一半是由于目标识别错误造成的。^[39]这些错误的识别大部分是由人工操作者造成的。目标识别错误也是导致自相残杀的主要原因(例如，友军单位向友军或友军单位开火)。人工智能控制系统可以改善某些领域的目标识别能力，如防空和空战，减少平民伤亡和友军火力。例如，1988年美国航空母舰文森斯号(USSVincennes)击落伊朗航空655航班，导致机上290名平民全部遇难，这是由于文森斯号上的人类指挥官的认知超载造成的，他们同时要应对来自敌人飞机和靠近商业航线的炮艇的威胁。^[40]改进的自主机制有助于融合和处理数据，这可能防止了事故的发生。^[41]

80年的战斗经验表明，如果使用得当，自主机制与人机合作可以继续提高战场上拉大在战场上军事力量使用上的差距。

因此，AI驱动的自主识别和终端制导功能具有显著提高目标识别辨别的潜力，从而实现:

●更少的“蓝对蓝”事件(无意攻击友军单位);

●更少的“蓝对绿”事件(无意攻击友军和伙伴部队);

●减少非战斗人员无意参与，减少平民伤亡;

●对民用基础设施的破坏更少

出于这些原因，国防部继续追求武器系统改进的人工智能自主机制的探索。80年的战斗经验表明，如果使用得当，自主机制与人机合作可以继续提高战场上拉大在战场上军事力量使用上的差距。此外，国防部迄今为止对武器全自动功能的谨慎部署表明，它有能力以符合战争法律和道德和伦理义务的方式使用此类武器。

然而，美国军方一直注意到需要验证具有自主功能的武器系统的作战可靠性和安全性。该公司正在努力改进其测试、评估、验证和验证(TEVV)程序，来提升安全性和防范安全漏洞。指挥官和操作者也必须避免对AI期望过高，因为它在面对意外情况或不断变化的环境时非常脆弱。^[42]因此，改进训练和理解ai武器系统的能力和限制是必要的。但历史记录清楚地表明,美国军方表明愿意放弃部署的有前途的新武器系统,因为这些武器系统不能被肯定地认为能够符合战争法或被认为在实际使用中风险太大(例如,LOCAAS)。

在可行和有价值的情况下，系统设计可以在一系列自动操作的中间步骤中包括人的观察和引导点。

关于这一点，有一点需要澄清：一些阅DoDD 3000.09的人得出结论，美国国防部的政策就是，在整个交战过程中，具有自主功能的武器系统必须由人机回环或人在回环控制。^[43]在前一种情况下，武器系统将执行交战序列中的任务，并在继续执行前等待人类用户采取行动。^[44]如前所述，虽然人在回路上（human-on-the-loop）武器系统可以感知、决策，并自行行动，但是如果一个人监督其运作，便并可以干预和中止其运作。^[45]事实上，DoDD 3000.09并没有强制要求人在回路内（human-in-the-loop）或人在回路上（human-on-the-loop）控制方案。相反，它建立了广泛的政策和内部官僚程序，供高级领导人批准或反对在武器，包括完全自主武器中使用自主性。尽管如此，一些人坚持认为“有意义的”人类控制应该具备在人机回环或人在回环的交战序列中使用武器的任何一个步骤，能够干预并使之失效的能力。^[46]

然而，人类对武器交战结果的责任不应该也不应该必然要求人类监督杀戮链的每一步。一旦操作员开始预期以使用致命武力对一个目标或一组目标结束交战，然后攻击序列中的后续步骤可以无需进一步的人工干预监督自动完成。如果参与计划中一个或多个步骤的行为和结果存在重大不确定性，那么人类必须对不确定性和相关变化的结果负责。在系统具有可行性和价值性的情况下，系统设计可以包含一系列自动操作中的人类观察点和序列中间步骤的引导。^[47]在这些点上，人类控制者将检查系统的状态并决定是否继续（例如，停止、继续执行或修改计划）。但是一个全面的政策需要具有在所有情况下能够激活系统能力的人进行实时监督，既不现实也不可取。事实上，这样的政策反而会刺激指挥官使用更不精确的无制导武器系统，这可能导致更高水平的攻击附带损害。

例如，想象一下，如果一个风偏修正弹药洒布器导航一组目标并且释放了40个飞碟。释放飞碟的间隔和飞碟的攻击的间隔是以秒为计算的。因此，人机回环中就需要40个操作员分别监控每一个飞碟的行动，允许或中止其攻击。正如这个例子所示，在实战中建立一种标准的作战行动——要求对能够自主选择和参与职能的武器系统的每一步都采用人机回环或人在回环，这种方案是不切实际的，也是非常繁重的，这种标准即使是非制导武器也不需要。因此，在国防部政策中，这些控制方案是自主决定的，而不是强制性的。当武器的预期战术、技术和程序需要加强人的监督时，这些控制方案就会被实施。

四、面向具有自主功能武器作战系统的作战使用原则

《战争法》没有明确禁止或限制使用自主权，^[48]也没有明确批准使用自主权来协助武器的运作。国防部的政策是，任何和所有武器，包括具有自主功能的武器系统，必须按照战争法、政策、适用条约、武器系统安全规则、道德准则和交战规则进行开发和使用。80年来，具有自主交战功能的武器系统一直符合这一标准。

国防部现行的武器自主政策指南DoDD 3000.09赋予国防部追求和使用新的、更先进的弹药和武器系统的自由，这些弹药和武器系统具有人工智能的自主功能，包括完全自主的武器。它还概述了内部部门流程，以确保其负责任的设计、测试、评估、批准和使用—这一流程至今仍然有效。

因此，现在是国防部通过制定自主功能武器的使用规范来展示其领导能力的时候了。

如DoDD 3000.09《武器系统的自主性》所述，任何具有自主功能的弹药或武器系统的开发和TEVV必须证明其能够在符合战争法、政策和适用条约的情况下，在现实作战环境中可靠地反复满足任务目标，武器系统安全规则、道德准则和交战规则。除TEVV外，还需要对武器及其预期用途进行单独的法律审查，以确保符合战争法和国防部政策，国防部开发的所有武器也是如此。^[49]这些活动的一个具体目标是尽量减少可能导致意外交战的失败的可能性和后果，特别是针对平民、民用物体和基础设施以及其他受保护实体。

鉴于这些情况，有理由问为什么需要为具有自主功能的武器制定额外的原则。有两个相互关联的原因。首先，自2012年DoDD3000.09法案通过以来，对自主功能和人工智能在武器中的使用的理解已经相当成熟，关于法律的争论也变得更加尖锐和广泛。因此，现在是国防部通过制定自主功能武器的使用规范来展示其领导能力的时候了。

其次，由于现有政策不够具体，需要更多的指导。除了非常广泛的指导，例如确保武器的设计应允许“人类对使用武力的适当判断水平”之外，DoDD 3000.09并未深入探讨人类决定使用具有自主功能的武器与其后续行动之间的联系。同样，最近公布的国防部人工智能原则为国防部如何处理人工智能提供了高层次的指导，而不是如何在武装冲突中使用人工智能支持的自主功能。

因此，以下提出的原则旨在以DoDD 3000.09和DoD AI原则为基础，为半自主和自主弹药和武器系统的战场使用提供额外指导。与国防部政策一致，这些原则的一个关键重点是维护人类对武装冲突中使用武力的判断，并将可能导致意外交战（特别是针对非战斗人员）的失败概率和后果降至最低。

国防部应与白宫、国务院和其他相关联邦机构合作，考虑采用这些原则，以帮助指导具有自主功能的武器系统的作战使用，并确定美国在国际讨论此类武器时的立场。

五、为具有自主功能的武器系统的战斗使用提出的国防部原则

TEVV（测试、评估、确认、验证）和 法律审查确保对战争法、政策、适用条约、武器系统安全规则、道德指导和交战规则的基本遵守，而具有自主功能的武器系统提出了一些额外的问题：关于武力使用中人类判断的恰当作用域，以及如何进一步减少意外交战。以下原则旨在为这些问题提供指导。这些原则没有任何抵触或否认现有法律或政策的意思。

1、任何具有自主功能的武器系统的使用都必须由负责任的人类指挥和控制链来进行指导和监督。该链必须列出目标、方法、交战规则、特殊指示和明确的限制，以确保所有武器的使用，包括任何具有自主行为的武器，在符合战争法、政策、适用条约、武器系统安全规则、道德指导和交战规则的同时，满足任务目标。

2、发起一系列行动的决定，包括可能因使用武力而造成人命损失的自主行动(即杀戮链)，是人类意图和判断的唯一领域。无论是由人还是机器进行作为介导，所有的行为，尤其是与使用武力有关的行为，总是必须由负责任的人类指挥和控制链来管理。^[50]这包括启动自主武器系统的决策，该系统可以在不需要进一步人工干预的情况下选择和攻击目标。

3、在任何情况下，人类对使用武力作出决定的责任都不能移交给机器。人类对战争的法律义务负有责任，如攻击的区分、相称性、和预防。武装冲突法不允许武器作出法律决定。而是必须遵守战争法的人;只有他们才对自己的决定和决定负责。^[51]

4、要做出合法攻击特定目标的有效决定,任何授权使用、指导使用、操作自主武器系统的人，都必须有足够的这些方面的信息：系统的预期表现和能力,使用原则,预期目标,环境,以及使用情景(例如，非战斗人员在交战地区的存在)。^[52]明确的原则、战术、技术和程序以及充分的训练对于指挥官和操作员了解在现实作战条件下武器系统自主性的功能、能力和局限是必要的。^[53]

5、一旦人类启动了一系列行动，这些行动趋向于最终使用致命的武力，具有自主功能的武器系统可能会在没有进一步人类监督的情况下自行完成这一系列行动。这包括自动检测、分类、攻击目标或人类操作者指定的特定目标组，以与武器系统性能一致，并与法律、道德、操作、空间、时间范围内的被授权设定一致的方式进行。

6、只要武器系统对目标的选择和参与作为一系列行动的一部分发生，且这一系列行为与人类蓄意进行合法攻击的决定是直接相关的，那么就满足了人类对致命武力使用的适当判断的标准。一旦做出这样的决定，就像今天使用具有自主功能的武器系统一样，直接控制随后交战序列中的每一个步骤将是不切实际的，并且会给参与战斗的操作者带来不必要的负担。因此，人在回路上（on-the-loop）或在回路内（in-the-loop）的控制方案是自由裁量的，而不是强制性的;它们是根据时间和空间参数在具体情况下确定的，并且始终以符合预期的武器使用情况的方式被执行，并在必要时确保遵守这些原则。

7、如果指挥官获得证据表明具有自主功能的武器系统可能以与预期性能、战争法、政策、适用条约、道德指导和交战规则相反的方式运行，他们必须采取适当的行动。任何针对非战斗人员的意外交战都必须进行调查，以确定其原因——可能包括但不限于:错误的武器设计、对可能失效模式的不充分测试、操作人员错误/不当的武器使用、操作人员培训不当、错误的情报、目标错误识别、武器故障、或者对手行动(例如，黑客攻击，欺骗)。

六、总结/结论

具有自主功能的武器系统已经在战斗中安全可靠地使用了80年。他们将继续使用在未来。实际上，在这些武器系统中添加人工智能应用程序，预计将使它们在使用武力时更加有辨识力，并导致意外交战的减少——这一目标完全符合国际人道主义法。

美国还应努力证明，它致力于在符合战争法、政策、适用条约、武器系统安全规则、道德指导和交战规则的同时，以能够满足任务目标的方式使用武器。

然而，这些武器的反对者担心，在武装冲突中使用这些武器会导致伦理、道德和法律上的问题。美国应该站在先进的TEVV协议和法律审查的最前沿，以证明具有自主功能的武器将按照它们的预期发挥作用。美国还应该努力证明它致力于在符合战争法、政策、适用条约、武器系统安全规则、道德指导和交战规则的同时，以能够满足任务目标的方式使用武器。其中一种方法是采用具有自主功能的武器系统的作战使用原则，并通过获取过程、训练、教育和实地演习将这些原则制度化。拟议的七项原则旨在推动这一努力，并为国际准则的采纳提供基础。

关于作者

Robert Work,2014年5月至2017年7月，他担任第32任国防副部长，与三名国防部长一起任职于国防部。2001年，在服役27年后，他从美国海军陆战队上校的位置上退休。他随后担任战略和预算评估中心(Centerfor Strategic and budget Assessments)的高级研究员、副主席和研究主任。2009年5月，他被任命为第一届奥巴马政府的第31任海军副部长。Work先生于2013年3月辞去副部长一职，成为新美国安全中心(CNAS)的首席执行官。他一直担任该职位，直到2014年5月就职国防部副部长。他目前是TeamWork有限责任公司的所有者兼董事长，该公司专门从事国防战略和政策、编程和预算、军事技术竞赛、战争革命和未来战争。

致谢

非常感谢Paul Scharre、Shawn Steene、Jason Stack和Michael Horowitz对此文提出的宝贵意见和建议。感谢Maura McCarthy、Emma Swislow、Melody Cook、Chris Estep和Megan Lamberth在此文的评审、制作和设计中所做出的努力。特别感谢参加新美国安全中心(CNAS)关于制定致命自主武器原则系列讲习班的人员。他们的见解和专业知识为完成此文提供了莫大的帮助。若文中有任何错误，责任由作者本人承担。

关于新美国安全中心

新美国安全中心(CNAS)是一个独立的、跨党派的非营利组织，致力于制定强有力的、务实的、有原则的国家安全和国防政策。CNAS通过创新的、基于事实的研究、想法和分析，让政策制定者、专家和公众参与进来，以塑造和提升国家安全辩论。我们任务的一个关键部分是向国家安全领导人通报今天和准备明天的情况。

CNAS开展开创性的研究和分析，以塑造和提升华盛顿内外的国家安全和外交政策讨论。我们的动态研究议程旨在塑造美国政府、私营部门和社会领导人的选择，以推进美国的利益和战略。

我们有吸引最优秀、最聪明的学者和实践者领导我们的研究项目的成就，我们的董事会成员、创始人、领导人、学者和实习生都在美国政府、国防部、国务院、白宫、以及中央情报局、国会和私营部门担任或曾经担任过重要职位。因此，我们的支持者来自于各个决策集团，支持者们组成一个强大的网络，这个网络使我们受益匪浅。

我们致力于创造一个多元化和包容的环境，不因种族、肤色、宗教、性别、性别认同或表达、性取向、国籍、基因、残疾、年龄或退伍军人身份而存在歧视。CNAS很自豪能成为一个提供平等机会的平台。

CNAS位于华盛顿，由Kurt M. Campbell博士和Michèle A. Flournoy于2007年成立。自该中心成立以来，我们的工作为美国的关键战略决策提供了依据，并被行政部门和美国国会山的共和党和民主党领导人采纳。

CNAS是501(c)3免税的非营利组织。作为一个致力于制订组织性、智能性和个人诚信的最高标准的研究和政策机构，CNAS保持严格的知识独立，对其思想、项目、出版物、事件和其他研究活动保持唯一的编辑指导和控制。CNAS在政策问题上不采取机构立场，CNAS出版物的内容仅反映作者的观点。与它的使命和价值观相一致，CNAS不从事游说活动，并完全遵守所有适用于联邦、州和地方的法律。CNAS将不代表任何实体或利益参与任何代表活动或倡导活动，如果中心接受来自美国以外的资助，则其活动将限于纯粹的学术、学术和与研究相关的活动，并与适用的联邦法律保持一致。该中心每年会在其网站上公开所有捐助者。

注释

[1] 2012年，美国国防部将自主武器系统定义为“一旦被激活，即可在不需要人工操作员进一步干预的情况下选择和攻击目标”(重点补充)。由于自主武器系统可以被设计成使用致命或非致命、动力或非动力的力量，致命自主武器系统是指能够杀死人的武器系统。国防部指令3000.09(以下称DoDD3000.09)，Autonomy in Weapon Systems, November 21, 2012, https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/dodd/300009p.pdf, 13.

[2]武器系统是指一种或多种武器与所需的所有有关设备、材料、服务、人员和运送和部署工具(如适用)的组合。武器系统包括由一名男子或女子手动操作的简单设备(如步枪)和弹药。弹药的定义是一种装有炸药、推进剂、烟火剂和起爆成分或化学、生物、放射性或核材料的完整装置，用于包括破坏在内的行动。武器系统一般设计为持续使用，而弹药一般是一次性消耗性武器，设计为对目标(如炮弹、炸弹、导弹、鱼雷等)施加动力效应。更新的一次性、消耗性武器包括那些设计用来施加非动力效应，如干扰。两个定义都可以在:Departmentof Defense, DOD Dictionary of Military and Associated Terms(2021年1月)中找到，https://www.jcs.mil/Portals/36/Documents/Doctrine/pubs/dictionary.pdf.

[3]见 Austin Wyatt, PhD, 那么什么是杀手机器人呢?详细讨论致命自主武器系统的定义，华盛顿那么什么是杀手机器人呢?详细讨论致命自主武器系统的定义(So Just What is a Killer Robot? Detailing theOngoing Debate around Defining Lethal Autonomous Weapon Systems), Washington Headquarters Services, Department of Defense, June 8,2020, https://www.whs.mil/News/News-Display/Article/2210967/so-just-what-is-a-killer-robot-detailing-the-ongoing-debate-around-defining-let/

[4] “自主，人工智能和机器人:人类控制的技术方面,” (International Committeeof the Red Cross, August2019), 4.

[5] 例如，Daniele Amoroso和Guglielmo Tamburrini，“是什么让人类控制武器系统‘有意义’?”(International Committee for RobotArms Control, August 2019), https://www.icrac.net/wp-content/uploads/2019/08/Amoroso-Tamburrini_Human-Control_ICRAC-WP4.pdf.

[6]Wyatt, So Just What is aKiller Robot?

[7]本文采用与DoDD 3000.09相同的立场；如此协议所述，“武器系统”不适用于用于网络空间作战的自主或半自主网络空间系统;手无寸铁的无人平台;或不能控制的弹药;DoDD 3000.09,2。

[8]美国国防部, DoD Adopts EthicalPrinciples for Artificial Intelligence, (February 24, 2020), https://www.defense.gov/Newsroom/Releases/Release/Article/2091996/dod‐adopts‐ethical‐principles‐for‐artificial‐intelligence/.

[9]附件三，“《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》缔约国会议”2019年11月13-15日，10。

[10]Barry D. Watts, 《60年的制导武器和作战网络，进展和前景》Six Decades of Guided Weapons and Battle Networks, Progress andProspects (华盛顿:战略与战略研究中心预算评估，2007年3月)，3,103 - 4。

[11] 一个轨迹是指：“1。在数据显示控制台或其他显示设备上显示的一系列相关触点。2. 显示或记录一个移动物体的连续位置”，国防部，美国国防部军事词典和相关术语。

[12]Watts, Six Decades of Guided Weapons and Battle Networks,Progress and Prospects, 123–26.

[13] Norman Friedman, U.S. Destroyers, revised edition(Annapolis, MD: Naval Institute Press, 2004), 207.

[14] DoDD 3000.09, 14.

[15] Michael Peck, “ASM-N-2‘蝙蝠’制导导弹是如何为新型反舰导弹带来新生的” The National Interest, May 10, 2020,

https://nationalinterest.org/blog/buzz/how-asm-n-2-bat-gave-birth-new-class-anti-ship-missiles-152576.

[16] AIM-9响尾蛇导弹(Sidewinder)在中华民国(Taiwan)和中华人民共和国(People Republic of China)之间的空战中首次使用;

Watts, Six Decades of Guided Weapons and Battle Networks,Progress and Prospects, 127.

[17]关于激光和GPS制导炸弹的详细讨论, 见 Watts, Six Decades of GuidedWeapons and Battle Networks, Progress and Prospects.

[18] “ATACMS Block II/Brilliant Anti-armorTechnology (BAT), Federation of American Scientists, https://fas.org/man/dod-101/sys/land/atacmsbat.htm.

[19] N.R. Jenzen-Jones, “CBU-97/CBU-105 ‘传感器引爆武器’集束弹药,” Armament Research Services,

https://armamentresearch.com/us-cbu-97cbu-105-sensor-fuzed-weapon-cluster-munition/;

来自“CBU-97 传感器引爆武器,”的区域覆盖图，维基百科, https://en.wikipedia.org/wiki/CBU-97_Sensor_Fuzed_Weapon.

[20] 半自主武器是“一种武器系统，一旦被激活，只用于攻击由人类操作者选择的单个目标或特定目标组。”; DoDD 3000.09, 14.

[21]DoDD 3000.09, 3; 一些人将这一措辞解释为，由于操作者之前没有选择特定的目标，这种类型的武器不符合国防部的政策。然而，国防部的指令明确指出，半自动武器系统包括那些由操作员选择“特定目标群体”的系统。See DoDD 3000.09, 3, 14. 一旦人类批准了对特定目标群的攻击，摧毁群内任何目标都可以自主完成，而武器仍然被认为是半自主武器系统。

[22] “一种武器系统，一旦被激活，就可以选择并攻击目标而不需要人类操作员的进一步干预.” DoDD 3000.09,13

[23] 有关自动目标识别系统的解释，请参见James A. Ratches，“当前用于军事目标获取任务的辅助/自动目标获取技术综述”。Optical Engineering, 50 no. 7 (March 2011): https://www.spiedigitallibrary.org/journals/opticalengineering/volume-50/issue-07/072001/Review-of-current-aided-automatic-target-acquisition-technology-formilitary/10.1117/1.3601879.full?SSO=1

[24] 术语“静态搜索武器”和“有限搜索武器”并非源自DoDD 3000.09。这里采用它们是为了帮助读者了解国防部部署的不同类型的武器。

[25] DoDD 3000.09不包括海洋和陆地的地雷。因此，尽管它拥有自主武器的其他属性，而捕获性武器器并不被正式认为是一种武器; DODD 3000.09, 2.

[26] See “Mark 60 CAPTOR,” Weapon Systems.net, https://weaponsystems.net/system/449-Mark+60+CAPTOR.

[27]See Carlo Kopp, “战斧巡航导弹变种，BGM/RGM-109B战斧反舰导弹(TASM)，” Air Power Australia,

http://www.ausairpower.net/Tomahawk-Subtypes.html.

[28] DoDD 3000.09, 7.

[29] Watts, Six Decades of Guided Weapons and Battle Networks,Progress and Prospects, 281–83.

[30] DoDD 3000.09, 14.

[31] 在人在回路上（human-on-the-loop）武器系统中，系统可以自己感知、决定和行动，但是一个人监督它的操作，如果需要，可以干预和中止它的操作;Paul Scharre, Army of None: Autonomous Weapons and the Future ofWar (New York: W.W.Norton & Company, 2008), 29.

[32] DoDD 3000.09, 2.

[33] DoDD 3000.09, 1.

[34] U.S. Air Force, “历史PGM分析-提高弹药的精度” PowerPoint演示.

[35] U.S. Air Force, “Historical PGM Analysis.”

[36] Theresa Hitchens, “美空军研究实验室（AFRL）的金帐汗国自主弹药‘蜂群’”会增加战斗机的杀伤力，Breaking Defense, January 8, 2021,

https://breakingdefense.com/2021/01/afrls-golden-horde-swarms-would-increase-fighter-lethality/

国防高级研究计划局，“代码演示了以最小的人类命令自主和协作，”https://www.darpa.mil/newsevents/2018-11-19.

[37] John Arquilla and David Ronfeldt, Swarming and the Future ofConflict, (RAND

https://www.rand.org/content/dam/rand/pubs/documented_briefings/2005/RAND_DB311.pdf

[38] 美国联合部队通常会打一场“客场比赛”。它还带着自己的战斗网络，包括所有的弹药和军需。节约开支对保持战斗力很重要。

[39] 海军分析中心的分析员Lawrence “Larry” Lewis,分析了阿富汗1000多起造成平民伤亡的事件。他发现，在50%的事件中，作出交战决定的人意外地将平民误认为合法目标; Larry Lewis, Redefining Human Control: Lessons from theBattlefield for Autonomous Weapons (Arlington, VA: Center forAutonomy and AI, March 2018); and Larry Lewis email to the authordated May 21, 2020.

[40] “伊朗655飞机被击落,” 澳大利亚广播公司, 2000,

https://www.youtube.com/watch?v=Onk_wI3ZVME

[41] Scharre, Army of None, 169–70.

[42] 对于依赖机器学习的人工智能系统来说尤其如此。

[43] See, for example, Sydney J. Freedberg Jr., “AI中的恐惧与厌恶:军队如何引发杀手机器人的恐惧” Breaking Defense,

https://breakingdefense.com/2019/03/fear-loathing-in-ai-how-the-army-triggered-fears-of-killer-robots/

[44] Scharre, Army of None, 29.

[45] Scharre, Army of None, 29.

[46] “人为监督、干预和关闭系统的能力是对抗这种风险的绝对最低要求，但系统的设计必须考虑到有意义的、及时的、人为干预，即使这也不是万灵药.”; “自主，人工智能和机器人:人类控制的技术方面,” 3.

[47] Eric Horvitz, 美国人工智能国家安全委员会(National SecurityCommission on Artificial Intelligence)专员在给作者的电子邮件中写道,January 3, 2021.

[48] 美国国防部, Law of War Manual(Washington: Office of the General Counsel, 美国国防部, 2015年6月;2016年12月更新), 353.

[49] DoDD 3000.09, 7.

[50] Defense Science Board, Summer Study on Autonomy (Washington:Department of Defense, June 2016), 16.

[51] Department of Defense, Law of War Manual, 354.

[52] DoDD 3000.09, 7–8.

[53] DoDD 3000.09, 7–8.

↓↓↓ 戳“阅读原文”，加入“知识星球”，发现更多精彩内容.

 分享💬 点赞👍 在看❤️@以“三连”行动支持优质内容！