CanSecWest 2019 | 怎样用AI“诱骗”AI？

 弁言：隐形T恤

在威廉•吉布森的科幻小说《零汗青》中有这么一个情节：有人发现了一件奇丑无比的T恤，其神奇之处在于，这是一件能在监控摄像下“隐身”的衣服——只要穿上这件T恤，就能神乎其技地躲开监控，去做一些见不得光的工作……

在实际天下中，这已经不完满是科幻观念了。在今朝的AI攻防研究中，这种监控摄像下的“隐形T恤”已经有了详细的示意。其呈现的首要缘故起因是AI算法计划的时辰未充实思量相干的安详威胁，使得AI算法的猜测功效轻易受恶意进攻者的影响，导致AI体系判定失误。

可见，AI在改变人类运气的同时，也同样存在安详风险。这样的安详风险可以表此刻医疗、交通、家产、监控、政治等浩瀚规模。犯法分子通过恶意进攻来“蒙蔽”AI，乃至也许举办侵扰政治推举、撒播黄暴恐、蓄意行刺等重大犯法勾当。

因此，AI安详不容忽视，出格是来自于外部进攻导致的AI模子风险，好比反抗样本进攻可以诱导AI模子举办错误的判定，输堕落误的功效。本文首要针对这一题目举办说明。

1.什么是反抗样本?

反抗样本(adversarial examples)，最早由Szegedy等人[1]在2013年提出。它是指通过给输入图片插手人眼难以察觉的细小扰动，使得正常的呆板进修模子输堕落误的猜测功效。如图1所示，输入一张熊猫图片，正常的深度神经收集可以正确地将其辨认为“panda (熊猫)”。可是有针对性地给它加上一层反抗滋扰后，统一个深度神经收集将其辨认为“cocktail shaker (鸡尾酒调酒器)”， 如图2所示。

图1. 正常图片辨认

x`

那么反抗样本呈现的缘故起因是什么呢?首要有两个缘故起因导致反抗样本的呈现：

(1)起首，基于深度进修的神经收集模子可进修的参数有限，导致神经收集的表达手段有限，无法包围全部图像的可变空间。并且今朝用于实习神经收集的数据集相对付整个天然场景图像的空间来说，依然只占很小一部门空间，因此也许存在这样一类与天然图像中的样本很相似的样本，人眼无法察觉到它们的差别，可是神经收集将其辨认错误。

(2)其次，神经收集中的高维线性调动导致反抗样本[2]。譬喻，假设存在样本x和收集权重W，对样本x插手细小的滋扰η来构建反抗样本，即

，对付线性调动

，WTη为噪声的线性蕴蓄，当线性调动的权重W与噪声η 的偏向同等或完全相反时，导致这两者的点积最大或最小，导致输出超出正常范畴，最终导致神经收集猜测错误。

因此，反抗样本并不是将随机发生的噪声叠加到正常的样本上就可以使模子辨认错误，而是与模子的参数W有关。反抗样本是一种被恶意计划来进攻呆板进修算法模子的样本。

一样平常来说，反抗样本进攻可以分为有方针进攻(targeted attacks)和无方针进攻(non-targeted attacks)。所谓有方针进攻，即给定方针种别，修改输入图片，使神经收集将其辨认为方针种别。而无方针进攻，只必要修改图片使其种别产生改变即可。

反抗样本进攻还可以分为白盒进攻(white-box attacks)与黑盒进攻(black-box attacks)。个中白盒进攻是指进攻者可以或容许以或许获知呆板进修所行使的算法以及算法所行使的参数，进攻者在天生反抗样本的进程中可以与呆板进修体系有所交互。而黑盒进攻是指进攻者并不知道呆板进修所行使的算法模子或参数。

2.反抗样本是奈何天生的?

2.1 优化方针

连年来，反抗样本的天生算法获得了快速成长，个中操作模子参数最大化模子分类丧失的要领最为常用。该要领的总体分类方针可以界说为：给定模子y = f ( x, W )(个中W为模子参数，x为模子输入，f ( x, W )为输入到输出的映射)，反抗样本

 可以界说为： 

个中l (·, ·)为丧失函数，刻画原始样本输出和反抗样本输出的差别。可以行使梯度上升(gradient ascent)的要领来办理该最大化优化题目。

2.2 FGSM

Goodfellow等人[2]提出了一种名为Fast Gradient Sign Method(FGSM)的快速优化要领，界说如下：

个中t为x的种别。该要领起首计较丧失函数针对输入的梯度，再取标记函数，最后插手扰动因子 ε 即可以获得反抗样本。简朴有用，仅需一步迭代。可是这种反抗样本天生要领的白盒进攻乐成率较低，由于在大大都环境下无法通过一步迭代有用晋升丧失函数。

2.3 BIM

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!