GAN用于无监督表征学习，效果依然惊人……

无所不能的 GAN 又攻占了一个山头。

连年来，GAN 在图像合陋习模取得了惊人的成就，譬喻先前 DeepMind 提出的 BigGAN。克日，DeepMind 提出全新的 BigBiGAN，引起了社区极大的存眷。

该论文提出的要领成立在 SOTA 模子 BigGAN 之上，通过对其表征进修和天外行段举办普及评估，证明这些基于天生的模子在 ImageNet 数据集的无监视表征进修和无前提图像天生方面均实现了 SOTA 结果。

呆板进修社区浩瀚研究者以为这是一篇极为风趣的事变，如 GAN 之父 Ian Goodfellow 在 Twitter 上暗示，在他们写最初的 GAN那篇论文时，相助者也在做相同于 BigGAN 的表征进修研究。5 年后终见这样的成就。

论文：Large Scale Adversarial Representation Learning

论文地点：https://arxiv.org/abs/1907.02544

用 GAN 来做表征进修真的能行?

着实在 GAN 的早期，它也是能用于无监视表征进修的，只不外其后自编码器等自监视进修有了更好的结果。在这篇论文中，研究者暗示图像天生质量的晋升能大幅度晋升表征进修的机能。而且对比自编码器等存眷「底层细节」的模子，GAN 通过鉴别器能捕获语义层面的差别，从而明显晋升结果。

研究者所回收的的 BigBiGAN 要领是在 SOTA 模子 BigGAN 上成立的，并通过添加编码器和修改鉴别器将该要领扩展到表征进修规模。作者展示了一系列图像重构结果，这些图像都不是像素级的美满重建，由于模子乃至都不会有方针函数逼迫拉近像素间的间隔。

可是用 BigBiGAN 做表征进修，用来重建图像有个上风：它能直观地领略编码器所学到的特性。譬喻当输入图像有「狗」或「人」等方针时，重建图像凡是城市包括该类此外方针，且它们的姿势状态也差不多。下面我们可以看看 BigBiGAN 的重建结果，领会用来做无监视表征进修的上风。

真实图片(第一行)和针对真实图片重建的图片(第二行)。

随机挑选的天生图片。

GAN 为什么能做表征进修

GAN 框架中的天生器是一个从随机采样的潜变量(也叫「噪声」)到天生数据之间的前馈映射，进修信号由一个鉴别器提供，该鉴别器被实习用于区分真实和天生的数据样本。

许多 GAN 的扩展都在加强编码器的手段，而且有些研究发明 BiGAN 的举动相同与自编码器，它会最大化低落图像重构本钱。然而重构偏差是由参数化的鉴别器抉择的，而不是简朴的像素级怀抱，这就要比自编码器好得多。由于鉴别器凡是都是强盛的神经收集，因此我们可以等候它引入的偏差怀抱是「语义」层面的差别。

这对付表征进修很是重要，由于我们但愿潜匿表征能进修到最具语义信息的特性，而不只仅是底层细节上的特性。鉴于这一点，用 GAN 来举办表征进修就很是公道与了。

尽量对付下流使命来说，基于 BiGAN 或 ALI 框架进修的编码器在 ImageNet 上是一种有用的可视化表征进修要领。然而，这些模子用到了一个 DCGAN 气魄威风凛凛的天生器，天生器无法在该数据集上天生高质量的图像，因此编码器所能建模的语义很是有限。在本文中，研究者操作 BigGAN 作为天生器从头探讨了这一要领。BigGAN 好像可以或许捕获 ImageNet 图像中的诸多模式和布局。研究者表白，在 ImageNet 上，BigBiGAN(BiGAN+BigGAN 天生器)的无监视表征进修手段可以或许到达当前最佳机能。

BigBiGAN 模子

BiGAN 或 ALI 要领都是 GAN 的变体，用于进修一个编码器，用于揣度模子或作为图像的表征。

固然 BigBiGAN 的焦点与 BiGAN 的要领沟通，但研究者回收了来自 SOTA BigGAN 的天生器和鉴别器架构。除此之外，研究者发明，改造的鉴别器布局可以在不影响天生结果的条件下带来更好的表征进修功效(见图 1)。也就是说，除了 BiGAN 或 ALI 中提出的连系鉴别器(该鉴别器将数据和隐藏鉴别器毗连到一路)，研究者还在进修方针中提出了特另外一元项(unary term)。

尽量 BiGAN 或 ALI 的相干研究证明，原始的 BiGAN 方针已经逼迫要求所进修的连系漫衍匹配到全局最优，但这些一元项通过显式地逼迫执行此属性，直观地指导优化朝着「正确的偏向」举办。譬喻，在图像天生使命中，一元丧失项匹配原始的 GAN 方针，并提供了一个进修信号，该信号仅引导天生器与隐藏输入无关的图像漫衍举办匹配。

图 1：BigBiGAN 框架的布局。

尝试

研究者在未标注的 ImageNet 数据集上实习 BigBiGAN，冻结学到的表征，然后在输出中实习线性分类器，行使全部的实习集标签举办全监视。他们还权衡了图像天生气能，并以初始分数(IS)和 Fréchet 初始间隔(FID)作为尺度怀抱。

1. 实习和数据集

研究者行使了和 BigGAN 沟通的优化器——Adam，批巨细为 2048，进修率和其他超参数也和 BigGAN 沟通。在实习时，研究者对输入图像行使了 ResNet 气魄威风凛凛的数据加强要领，但裁剪巨细为 128 或 256，而非 224。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!