深度进修已乐成应用于这三大规模
|
个中的一个创新点是卷积收集的应用(Sainath et al., 2013)。卷积收集在时域与频域上复用了权重，改造了之前的仅在时域上行使一再权值的时延神经收集。这种新的二维卷积模子并不是将输入的频谱看成一个长的向量，而是当成一个图像，个中一个轴对应着时刻，另一个轴对应的是谱分量的频率。 完全丢弃HMM 并转向研究端到端的深度进修语音辨认体系是至今如故活泼的另一个重要敦促。这个规模第一个首要打破是Graves et al. (2013)，他实习了一个深度的黑白期影象轮回神经收集(见第10.10 节)，行使了帧-音素分列的MAP 揣度，就像LeCun et al. (1998c)以及CTC 框架(Graves et al., 2006; Graves, 2012) 中一样。一个深度轮回神经收集(Graves et al., 2013) 每个时刻步的各层都有状态变量，两种睁开图的方法导致两种差异深度：一种是平凡的按照层的堆叠权衡的深度，另一种是按照时刻睁开权衡的深度。这个事变把TIMIT 数据集上音素的错误率记录降到了新低17:7%。关于应用于其他规模的深度轮回神经收集的变种可以参考Pascanu et al. (2014a); Chung et al. (2014)。 另一个端到端深度进修语音辨认偏向的最新要领是，让体系进修怎样操作语音(phonetic)层级的信息“分列”声学(acoustic) 层级的信息(Chorowski et al., 2014; Lu et al., 2015)。 天然说话处理赏罚 天然说话处理赏罚(natural language processing，NLP) 是让计较性可以或许行使人类说话，譬喻英语或法语。为了让简朴的措施可以或许高效明晰地理会，计较机措施凡是读取和发出非凡化的说话。而天然说话凡是是恍惚的，而且也许不遵循情势的描写。天然说话处理赏罚中的应用如呆板翻译，进修者必要读取一种人类说话的句子，并用另一种人类说话发出等同的句子。很多NLP 应用措施基于说话模子，说话模子界说了关于天然说话中的字、字符或字节序列的概率漫衍。 与本章接头的其他应用一样，很是通用的神经收集技能可以乐成地应用于天然说话处理赏罚。然而，为了实现卓越的机能并扩展到大型应用措施，一些规模特定的计策也很重要。为了构建天然说话的有用模子，凡是必需行使专门处理赏罚序列数据的技能。在许多环境下，我们将天然说话视为一系列词，而不是单个字符或字节序列。由于也许的词总数很是大，基于词的说话模子必需在极高维度和稀少的离散空间上操纵。为了使这种空间上的模子在计较和统计意义上都高效，研究者已经开拓了几种计策。 n-gram 说话模子(language model) 界说了天然说话中标志序列的概率漫衍。按照模子的计划，标志可所以词、字符乃至是字节。标志老是离散的实体。最早乐成的说话模子基于牢靠长度序列的标志模子，称为n-gram。一个n-gram 是一个包括n 个标志的序列。 神经说话模子 神经说话模子(neural language model, NLM) 是一类用来降服维数劫难的说话模子，它行使词的漫衍式暗示对天然说话序列建模(Bengio et al., 2001b)。差异于基于类的n-gram 模子，神经说话模子在可以或许辨认两个相似的词，而且不损失将每个词编码为互相差异的手段。神经说话模子共享一个词(及其上下文) 和其他相同词(和上下文之间) 的统计强度。模子为每个词进修的漫衍式暗示，应承模子处理赏罚具有相同配合特性的词来实现这种共享。譬喻，假如词dog和词cat映射到具有很多属性的暗示，则包括词cat的句子可以奉告模子对包括词dog的句子做出猜测，反之亦然。由于这样的属性许多，以是存在很多泛化的方法，可以将信息从每个实习语句转达到指数数目的语义相干语句。维数劫难必要模子泛化到指数多的句子(指数相对句子长度而言)。该模子通过将每个实习句子与指数数目的相同句子相干联降服这个题目。 高维输出 在很多天然说话应用中，凡是但愿我们的模子发生词(而不是字符) 作为输出的根基单元。对付大词汇表，因为词汇量很大，在词的选择上暗示输出漫衍的计较本钱也许很是高。在很多应用中，V 包括数十万词。暗示这种漫衍的朴实要领是应用一个仿射调动，将潜匿暗示转换到输出空间，然后应用softmax 函数。假设我们的词汇表V 巨细为|V|。由于其输出维数为|V|，描写该仿射调动线性分量的权重矩阵很是大。这造成了暗示该矩阵的高存储本钱，以及与之相乘的高计较本钱。由于softmax 要在全部|V| 输出之间归一化，以是在实习时以及测试时执行全矩阵乘法是须要的|| 我们不能仅计较与正确输出的权重向量的点积。因此，输出层的高计较本钱在实习时代(计较似然性及其梯度) 和测试时代(计较全部或所选词的概率) 都有呈现。对付专门的丧失函数，可以有用地计较梯度(Vincent et al., 2015)，可是应用于传统softmax 输出层的尺度交错熵丧失时会呈现很多坚苦。 团结n-gram 和神经说话模子 n-gram 模子相对神经收集的首要利益是n-gram 模子具有更高的模子容量(通过存储很是多的元组的频率)，而且处理赏罚样本只需很是少的计较劲(通过查找只匹配当前上下文的几个元组)。假如我们行使哈希表或树来会见计数，那么用于n-gram 的计较劲险些与容量无关。对比之下，将神经收集的参数数量更加凡是也大抵更加计较时刻。虽然，停止每次计较时行使全部参数的模子是一个破例。嵌入层每次只索引单个嵌入，以是我们可以增进词汇量，而不会增进每个样本的计较时刻。一些其他模子，譬喻平铺卷积收集，可以在镌汰参数共享水平的同时添加参数以保持沟通的计较劲。然而，基于矩阵乘法的典范神经收集层必要与参数数目成比例的计较劲。 因此，增进容量的一种简朴要领是将两种要领团结，由神经说话模子和n-gram 说话模子构成集成(Bengio et al., 2001b, 2003)。 对付任何集成，假如集成成员发生独立的错误，这种技能可以镌汰测试偏差。集成进修规模提供了很多要领来组合集成成员的猜测，包罗同一加权和在验证集上选择权重。Mikolovet al. (2011a) 扩展了集成，不是仅包罗两个模子，而是包罗大量模子。我们也可以将神经收集与最大熵模子配对并连系实习(Mikolov et al., 2011b)。该要领可以被视为实习具有一组特殊输入的神经收集，特殊输入直接毗连到输出而且不毗连到模子的任何其他部门。特殊输入是输入上下文中特定n-gram 是否存在的指示器，因此这些变量长短常高维且很是稀少的。 模子容量的增进是庞大的(架构的新部门包括高达|sV |n 个参数)，可是处理赏罚输入所需的特殊计较劲是很小的(由于特殊输入很是稀少)。 神经呆板翻译 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
