法国国防部挑战：泰雷兹成功实施主权人工智能黑客攻击，并为军用和民用人工智能提供增强的安全解决方案

来自数据保护和网络安全领域的全球领先者泰雷兹的 Friends Hackers 团队在法国第五届欧洲网络周（2023 年 11 月 21 日至 23 日）期间赢得了法国国防部2组织的 CAID[1] 挑战赛。

该挑战赛是法国国防部组织的首个此类挑战赛，旨在评估黑客团队利用人工智能模型某些固有漏洞的程度。

泰雷兹在人工智能安全和信任方面的工作符合国防界和关键基础设施提供商等民间组织的要求，这些组织都面临着保护其训练数据集和知识产权的相同挑战，并保证人工智能生成的结果可以被 值得信赖的关键决策。

CAID 挑战赛的参与者必须执行两项任务：

在给定的一组图像中，确定哪些图像用于训练 AI 算法，哪些图像用于测试。

基于人工智能的图像识别应用程序可以从大量训练图像中学习。 通过研究人工智能模型的内部工作原理，泰雷兹的Friendly Hackers团队成功确定了一些用于创建应用程序的图像，获得了有关所使用的训练方法和模型质量的宝贵信息。

 查找人工智能算法使用的飞机图像，这些图像已使用“遗忘”技术进行保护。

“忘却”技术包括删除用于训练模型的数据（例如图像），以保护其机密性。 例如，该技术可用于在算法出口、被盗或丢失时保护算法的主权。 例如，配备人工智能的无人机必须能够将任何敌机识别为潜在威胁。 另一方面，来自自己军队的飞机模型必须经过学习才能被识别为友军，然后通过一种称为“忘却”的技术将其删除。 这样，即使无人机被盗或丢失，AI模型中包含的敏感飞机数据也无法被提取用于恶意目的。 然而，泰雷兹的Friendly Hackers团队成功地重新识别了本应从模型中删除的数据，从而覆盖了遗忘过程。

像这样的演习有助于评估训练数据和训练模型的脆弱性，它们是有价值的工具，可以提供出色的性能，但也代表了武装部队的新攻击媒介。 对训练数据或训练模型的攻击可能会在军事环境中产生重大后果，此类信息可能使对手占据上风。 风险包括模型盗窃、用于识别军事硬件或战区其他功能的数据被盗，以及损害使用人工智能的系统运行的后门。 虽然人工智能，特别是生成式人工智能，可以提供显着的作战效益，并为军事人员提供经过强化训练的决策支持工具以减轻他们的认知负担，但国防界需要优先解决该技术面临的新威胁。

保护训练数据和训练模型对于国防部门至关重要。 人工智能网络安全变得越来越重要，并且需要自主来阻止人工智能世界向恶意行为者开放的许多新机会。 为了应对人工智能使用中涉及的风险和威胁，泰雷兹开发了一套名为 BattleBox 的对策，以针对潜在的违规行为提供增强的保护。

BattleBox Training 可防止训练数据中毒，防止黑客引入后门。

BattleBox IP 对 AI 模型进行数字水印，以保证真实性和可靠性。

BattleBox Evade 旨在保护模型免受提示注入攻击，这种攻击可以操纵提示绕过使用大型语言模型 (LLM) 的聊天机器人的安全措施，并对抗对图像的对抗性攻击，例如添加补丁来欺骗检测过程。 分类模型。

BattleBox Privacy 提供了一个训练机器学习算法的框架，使用先进的加密技术和安全的秘密共享协议来保证高水平的机密性。

为了防止 CAID 挑战任务中的 AI 黑客攻击，对 AI 模型进行加密等对策可能是要实施的解决方案之一。