据英国《独立报》5月31日报道，一份联合国安理会最近的报告称，一架军用无人机在没有接到任何指令的情况下自主对人类发起袭击，这或为历史上首次。

　　在不断的预警声中，这一幕科幻电影里的场景最终在真实的世界里发生了。有人忧心忡忡——现实版“终结者”真的来了吗?

▲电影《终结者2》中的T-800终结者机器人。图据法新社

　　【联合国报告】

　　撤退部队遭无人机追捕及远程攻击

　　涉事无人机具备自主攻击能力

　　据悉，这一令人震惊的事件发生于2020年3月。

　　当时，利比亚政府军与利比亚国民军司令哈夫塔领导的军事势力发生冲突之际，一架土耳其军事科技公司STM生产的“Kargu-2”型无人机在未接到任何指令的情况下，袭击了利比亚哈夫塔尔国民军阵营的撤退士兵。

　　联合国相关报告中写道：“后勤车队和撤退的哈夫塔部队随后遭到无人驾驶作战飞机或STM kargu-2等致命自主武器系统的追捕和远程攻击。”

　　《独立报》援引STM公司介绍，“Kargu-2”是一款多旋翼无人机，重15磅(约6.8千克)，最高时速约90英里(145公里)，续航时间约30分钟，可携带3种1.36千克的重弹头——破片杀伤弹头，用以对付人员和轻型车辆;温压弹，用以对付建筑物和掩体;成型装药弹头，用以对付装甲目标。

▲土耳其军事科技公司STM的“Kargu-2”型无人机。图据《独立报》

　　这款无人机配备激光雷达、可见光相机和红外夜视仪，使用基于机器学习的对象分类来选择和攻击目标。“Kargu-2”型无人机还配有炸药、敌方辨识系统及面部识别能力，可以寻找特定的个人，是为“反恐和不对称战争场景”而设计的。

　　STM公司CEO伊肯奇称，这款无人机可人工控制，士兵可从6英里(9.7公里)外控制无人机发动攻击。也可以预设航线自主飞行，自主定位、跟踪和识别目标。这意味着，在操作员未下达指令的情况下，“Kargu-2”确实具有自主攻击的能力。

　　此外，这款无人机还可利用摄像头和其他传感器通过地标导航，而不依赖GPS。而且，它们还具有群集能力，可以20架为一组进行协同作战。

　　联合国专家在报告中写道：“这种致命自主武器系统被编程为攻击目标，不需要操作员和弹药之间的数据连接：实际上是一种真正的‘开火、遗忘和发现’能力。”

▲“Kargu-2”型无人机的宣传视频截图。图据《原子科学家公报》

　　专门研究无人机的美国马里兰州国家恐怖主义与反恐研究联盟(START)安全顾问扎克·凯伦伯恩称，如果有人在袭击中丧生，这可能是历史上已知的首个人工智能(AI)自主武器杀人的案例。

　　美国芝加哥大学《原子科学家公报》在报道中称，在这份长达548页的报告中，联合国安理会利比亚问题专家小组并未详细说明此次事件是否造成了人员死亡，但却指出，致命的自主武器系统导致了Pantsir S-1地对空导弹系统的重大伤亡。

　　【机器人及AI专家】

　　致命自主武器有风险

　　全球禁止致命自主武器或为时已晚

　　联合国专家还在报告中明确提出了一个问题，即全球禁止致命自主武器的努力是否或已成徒劳。

　　过去，众多机器人及AI研究人员，以及埃隆·马斯克、史蒂芬·霍金和诺姆·乔姆斯基等其他知名人士，都曾呼吁禁止“攻击性自主武器”，比如那些有可能根据其编程搜索并杀死特定人员的武器，称它们“无法区分平民和士兵”。

▲在一场“禁止杀手机器人”示威活动中，人们呼吁禁止所谓的致命自主机器人。

　　专家警告称，值得引起国际社会关注的是，“Kargu-2”使用了基于机器学习的决策，其武器操作是基于软件的算法运行，并通过大型训练数据集学习，如分类各种对象等等。其计算机视觉程序可以通过训练来识别校车、拖拉机和坦克。但如果用于训练的数据集不够复杂或强健，就可能导致人工智能(AI)学到错误的“课程”。

　　据《原子科学家公报》报道，在一个真实案例中，一家公司计划使用AI系统来做出招聘决定。然而，管理人员却惊讶地发现，AI系统认为，对求职者来说最重要的求职要素是——名叫“贾里德(Jared)”以及“在高中打过长曲棍球”。但如果是“Kargu-2”这样的自动武器犯了类似的错误，结果可能就让人笑不出来了。

　　START安全顾问凯伦伯恩表示，自主武器开发人员需要预见到可能导致机器学习系统做出错误决定的复杂性。AI学习的“黑盒子”特性，即AI系统决策过程通常是不透明的，增加了额外的挑战。他们认为，这构成了一种真正的风险，即如果完全自主的军用无人机执行错误目标，其原因可能难以解释。

　　他还指出，当几架无人机进行通信和协调行动时，比如在无人机群中，出现问题的风险更大。“沟通会产生级联错误的风险，即其中一个单元的错误会被另一个单元共享。”