基于深度迁徙进修的多语种NLP技能道理和实践
发布时间：2020-07-13 23:57:07 所属栏目：大数据 来源：站长网
导读：副问题#e# 环球存在着几千种说话，这就对NLP研究者带来了庞大的困难，由于在一个语种上实习的模子每每在其它一个语种上完全无效，并且今朝的NLP研究以英语为主，许多其他语种上面对着标注语料严峻不敷的逆境。在跨语种NLP研究方面，业界已经做了不少研究，
|
a. XLM的每个实习样本包括了来历于差异语种但意思沟通的两个句子，而BERT中一条样本仅来自统一说话。BERT的方针是猜测被masked的token，而XLM模子中可以用一个说话的上下文信息去猜测另一个说话被masked的token。 b. 模子也接管说话ID和差异说话token的次序信息，也就是位置编码。这些新的元数据能帮模子进修到差异说话的token间相关。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
