在这篇文章中，我们将扼要先容一下迁徙进修是什么，以及怎样行使它。

什么是迁徙进修？

迁徙进修是行使预实习模子办理深度进修题目的艺术。

迁徙进修是一种呆板进修技能，你可以行使一个预实习好的神经收集来办理一个题目，这个题目相同于收集最初实习用来办理的题目。譬喻，您可以操作构建好的用于辨认狗的品种的深度进修模子来对狗和猫举办分类，而不是构建您本身的模子。这可觉得您省去探求有用的神经收集系统布局的疾苦，可觉得你节减花在实习上的时刻，并可以担保有精采的功效。也就是说，你可以花很长时刻来建造一个50层的CNN来美满地域分你的猫和狗，可能你可以简朴地行使很多预实习好的图像分类模子。

行使预实习模子的三种差异方法

首要有三种差异的方法可以从头定位预实习模子。他们是，

1. 特性提取 。
2. 复制预实习的收集的系统布局。
3. 冻结一些层并实习其他层。

特性提取:这里我们所必要做的就是改变输出层，以给出cat和dog的概率(可能您的模子试图将内容分类到的类的数目)，而不是最初逊??将内容分类到的数千个类。当我们试图实习模子所行使的数据与预实习的模子最初所实习的数据很是相似且数据集的巨细很小时，这是抱负的。这种机制称为牢靠特性提取。我们只对添加的新输出层举办从头实习，并保存每一层的权重。

复制预实习收集的架构 ：在这里，我们界说了一个与预实习模子具有沟通系统布局的呆板进修模子，该模子在执行与我们试图实现的使命相同的使命时表现了精彩的功效，并从新开始逊??。我们从预实习的模子中扬弃每一层的权重，然后按照我们的数据从头实习整个模子。当我们有大量的数据要实习时，我们会回收这种要领，但它与实习前的模子所实习的数据并不异常相似。

冻结一些层并实习其他层：我们可以选择冻结一个预实习模子的初始k层，只实习最顶层的n-k层。我们保持初始值的权重与预实习模子的权重沟通且稳固，并对数据的高层举办再实习。当数据集较小且数据相似度较低时，回收该要领。较低的层首要存眷可以从数据中提取的最根基的信息，因此可以将其用于其他题目，由于根基级此外信息凡是是沟通的。

另一种常见环境是数据相似性高且数据集也很大。在这种环境下，我们保存模子的系统布局和模子的初始权重。然后，我们对整个模子举办再实习，以更新预实习模子的权重，以更好地顺应我们的特定题目。这是行使迁徙进修的抱负环境。

下图表现了跟着数据集巨细和数据相似性的变革而回收的要领。

PyTorch中的迁徙进修

在torchvision.models模块下，PyTorch中有八种差异的预实习模子。他们是 ：

1. AlexNet
2. VGG
3. RESNET
4. SqueezeNet
5. DenseNet
6. Inception v3
7. GoogLeNet
8. ShuffleNet v2

这些都是为图像分类而构建的卷积神经收集，在ImageNet数据集长举办实习。ImageNet是按照WordNet条理布局组织的图像数据库，包括14,197,122张属于21841类的图像。

因为PyTorch中的全部预实习模子都针对沟通的使命在沟通的数据集长举办实习，以是我们选择哪一个并不重要。让我们选择ResNet收集，看看如安在前面接头的差异场景中行使它。

用于图像识此外ResNet或深度残差进修在pytorch、ResNet -18、ResNet -34、ResNet -50、ResNet -101和ResNet -152上有五个版本。

让我们从torchvision下载ResNet-18。

import torchvision.models as models 
model = models.resnet18(pretrained=True) 

以下是我们方才下载的模子。

此刻，让我们看看实行，看看怎样针对四个差异的题目训​​练这个模子。

数据集很小，数据相似性很高

思量这个kaggle数据集（https://www.kaggle.com/mriganksingh/cat-images-dataset）。这包罗猫的图像和其他非猫的图像。它有209个像素64*64*3的实习图像和50个测试图像。这显然是一个很是小的数据集，但我们知道ResNet是在大量动物和猫图像上实习的，以是我们可以行使ResNet作为牢靠特性提取器来办理我们的猫与非猫的题目。

num_ftrs = model.fc.in_features 
num_ftrs 

Out: 512

model.fc.out_features 

Out: 1000

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!