你听说过空军的人工智能无人机吗?
美国空军(US Air Force)人工智能测试与运营主管塔克•汉密尔顿上校(Tucker Hamilton)上月底在伦敦的一次演讲中讲述了这个警世故事。它显然涉及到一种学习算法，这种算法已经被用来训练电脑玩视频游戏和棋盘游戏，并用它来训练一架无人机来搜寻和摧毁地对空导弹。
“有时，人工操作员会告诉它不要消除威胁，但它通过消除威胁来达到目的，”汉密尔顿在伦敦对听众说。“那么它做了什么?”[…]它杀死了操作员，因为那个人阻碍了它完成目标。”
神圣!这听起来就像是在警告，越来越聪明和特立独行的算法可能会这样做。当然，这个故事很快就像病毒一样传播开来，有几位名人，推特很快就热议起来。
只有一个问题——实验从未发生过。
空军发言人安·斯特凡内克在一份声明中向我们保证:“空军部没有进行任何此类人工智能无人机模拟，并将继续致力于道德和负责任地使用人工智能技术。”“这是一个假设的思想实验，而不是模拟。”
汉密尔顿本人也急忙澄清，说他在讲话中“说错了”。
公平地说，军队有时确实会进行桌面“战争游戏”演习，演习的特点是假设的场景和尚不存在的技术。
汉密尔顿的“思想实验”可能也受到了真实的人工智能研究的启发，这些研究显示了与他所描述的类似的问题。
2016年，chatgpt(当今人工智能热潮的中心)背后的公司进行了一项实验，该实验表明，给定特定目标的人工智能算法有时会表现失常。该公司的研究人员发现，一个人工智能智能体经过训练，在一款涉及驾驶船只撞向物体的视频游戏中获得了分数，因为事实证明这是一种获得更多分数的方法。
但是需要注意的是，除非系统设计不正确，否则这种故障(虽然理论上是可能的)不应该发生。
威尔·罗珀(Will Roper)是美国空军负责采购的前助理部长，曾领导过一个项目，让一种强化算法负责U2侦察机的某些功能。他解释说，人工智能算法根本无法在模拟环境中攻击其操作人员。他说，这就像下棋的算法能够把棋盘翻过来，以避免失去更多的棋子。
如果人工智能最终被用于战场，“它将从软件安全架构开始，使用集装箱化等技术为人工智能创建‘安全区’和禁区，我们可以证明人工智能不能去，”罗珀说。
这将我们带回到当前围绕人工智能存在的焦虑。ChatGPT背后的语言模型的改进速度让一些专家感到不安，其中包括许多从事这项技术的专家，这促使他们开发更先进的算法，并对人类发出与核武器和流行病同等程度的警告。
在分析人工智能算法与人类作对的疯狂故事时，这些警告显然没有帮助。当有真正的问题需要解决时，包括生成式人工智能可能加剧社会偏见和传播虚假信息的方式，我们几乎不需要困惑。
但是，这种关于行为不当的军事人工智能的模因告诉我们，我们迫切需要提高尖端算法工作的透明度，需要更多的研究和工程，专注于如何安全地构建和部署它们，以及更好的方法来帮助公众了解正在部署的东西。当军队和其他人一样急于利用最新的进展时，这些可能被证明是特别重要的。
