关于GAN的魂灵七问

除了图像到图像的转换和规模的自顺应等应用外，大大都 GAN 的乐成应用都在图像合成中。而 GAN 在图像外的试探首要分为三个规模：

• 文本：文本的离散属性使其很难应用 GAN。由于 GAN 会依靠鉴别器的梯度信号，且它会通过天生内容反向撒播给天生器，以是离散的字符难以更新。今朝有两种要领办理这个坚苦，第一种是令 GAN 只对离散数据的持续表征起浸染，第二种则是用梯度预计和现实离散的模子来实习 GAN。
• 布局化数据：GAN 能用于其余非欧氏空间的布局化数据(譬喻图)吗?这类数据的研究被称为几许深度进修。GAN 在这个规模的盼望也不长短常明显，但其余深度进修要领取得的前进也较量有限，因此很难说是 GAN 自身的题目。
• 音频：音频是 GAN 除了图像外最乐成的规模，将 GAN 应用于无监视音频合成是第一次严酷的实行，研究职员对各类现实音频操纵做出了非凡的限定。

除了这些规模的实行，图像一向是应用 GAN 最简朴的规模，这就会引起一些题目：

我们最终但愿 GAN 能在其余持续数据上得到相同图像合成方面的乐成，但它必要更好的隐式先验常识。探求这些先验也许必要细心思索到底哪些特性才是故意义的，而且规模中的哪些特性是可计较的。

对付布局化数据或离散数据，我们暂且还没有较量好的办理方案。一种要领也许是令天生器和鉴别器都回收强化进修的智能体，并以 RL 的方法举办实习。但这样又必要大量计较资源，这个题目也许照旧必要基本研究的盼望。

我们该怎样评估 GAN 的优劣，什么时辰又该行使 GAN 这种天生模子?

说到评估 GAN，今朝有许多要领，可是并没有一种同一的怀抱要领：

• Inception Score 和 FID：这两个分数都行使预实习的图像分类器，都存在已知题目。常见的品评是这些分数丈量「样本质量」而没有真正捕捉「样本多样性」。
• MS-SSIM：可以行使 MS-SSIM 单独评估多样性，但该技能也存在一些题目，并没有真正风行起来。
• AIS：它提议在 GAN 的输出上应用高斯视察值模子(Gaussian observation)，并行使退火重要性采样来评估该模子下的对数似然。但究竟证明，当 GAN 天生器也是流模子时，这种计较方法并禁绝确。
• 几许分数：这种要领提议计较天生数据流形的几许属性，并将这些属性与真实数据举办较量。
• 精度和召回率：该要领实行计较 GAN 的精度和召回率。
• 手艺评级：该要领以证明，实习好的 GAN 鉴别器可以或许包括用来评估的有效信息。

这些还只是一小部门 GAN 评估方案。固然 Inception Score 和 FID 相比拟力风行，但 GAN 评估显然还不是一个确定性题目。最终，我们以为关于怎样评估 GAN 的狐疑源于何时行使 GAN。因此，我们将这两个题目合二为一：

我们应该用 GAN 来做什么?假如你想要真正的麋集型模子，GAN 也许不是最好的选择。已有尝试表白，GAN 进修了方针数据集的「low support」表征，这意味着 GAN(隐式地)将测试集的大部门分派为零似然度。

我们没有太担忧这一点，而是将 GAN 研究的重点放在支撑集没题目乃至有辅佐的使命上。GAN 也许很得当感知性的使命，如图像合成、图像转换、图像修复和属性操纵等图形应用。

最后，固然耗费庞大，但也可以通过人力举办评估，这使得我们可以丈量那些真正在乎的对象。通过建模猜测人类谜底，可以镌汰这种要领的本钱。

怎样扩展实习 GAN 的批量巨细?

大的 minibatch 已经辅佐扩展了图像分类使命——这些 minibatch 能辅佐我们扩展 GAN 吗?对付有用地行使高度并行硬件加快器，大的 minibatch 也许很是重要。

乍一看，谜底仿佛是必定的——事实，大都 GAN 中的鉴别器只是个图像分类器罢了。假如梯度噪声成为瓶颈，大的批量可以加快实习。然而，GAN 有一个分类器没有的奇异瓶颈：实习步调也许存在差别。因此，我们提出以下题目：

有证据表白，进步 minibatch 巨细可以改造量化功效并镌汰实习时刻。假如这一征象是鲁棒的，声名梯度噪声长短常重要的一个身分。然而，这一结论还没有获得体系性的验证，因此我们信托这一题目尚有待解答。

瓜代实习步调可否更好地操作大批量?理论上来看，最优传输 GAN 比一样平常 GAN 具有更好的收敛性，但必要一个大的批量，由于这种 GAN 必要对齐样本和实习数据批量。因此，最优传输 GAN 好像是扩展到很是大的批量的隐藏候选要领。

最后，异步 SGD 可以成为操作新硬件的不错备选项。在这种设定下，限定身分每每是：梯度更新是在参数的「陈旧」副本上计较的。但 GAN 现实上好像是从在已往参数快照(snapshots)长举办的实习中获益，以是我们也许会问，异步 SGD 是否以一种非凡的方法与 GAN 实习交互。

GAN 和反抗样本之间有什么相关?

众所周知，反抗样本是图像分类使命必要降服的一浩劫题：人类难以察觉的滋扰可以导致分类器给堕落误的输出。我们还知道，有些分类题目凡是可以有用进修，但鲁棒地进修却极其坚苦。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!