Facebook的新AI可以将说话直接彼此翻译

无论您是从美国，巴西，婆罗洲照旧法国登录，Facebook都可以行使自动呆板翻译将其平台上宣布的险些全部书面内容翻译成当地说话。现实上，仅Facebook的“消息概要”天天就提供约200亿笔翻译。可是，这些体系凡是行使英语作为中介步调-也就是说，从中文到法语的翻译现实上是从中文到英语到法语的翻译。这样做是由于来回于英语的翻译数据集很是复杂且普及可用，可是将英语置于中间会低落整体翻译的精确性，同时使整个进程变得比所需的更为伟大和繁琐。这就是为什么Facebook AI开拓了一种新的MT模子，该模子可以在不行使英语的环境下直接在两种说话(中文到法语以及法语到中文)之间举办双向翻译，而且在以BLEU指标为基本上比以英语为中心的模子要好10点。

Facebook AI研究助理Angela Fan对Engadget暗示：“最大的挑衅现实上是，我们怎样操作现有的翻译体系，然后真正满意天下各地人们的需求。“因此，您正在翻译成人们真正想要的全部说话和全部偏向。譬喻，天下上有许多地域人们会说多种说话，这些说话都不是英语，可是现有的翻译体系严峻依靠纯英语的数据。”她指出，在Facebook平台上天天以160种说话宣布的数十亿篇文章中，三分之二是用英语以外的其他说话撰写的。

Facebook称其为M2M-100，它是第一个可以在100种说话中的任何一对之间直接往返翻译的多说话呆板翻译模子(MMT)。总体而言，FBAI构建了一个复杂的数据集，个中包括100种说话的75亿个句子。Facebook博客周一暗示，研究小组操作这一点实习了一个通用翻译模子，该模子具有高出150亿个参数“可以从相干说话中捕捉信息并反应出越发多样化的说话和形态剧本”。

为此，Facebook必需行使各类新奇的技能网络来自天下各地的大量果真数据。范表明说：“很多这些现实上是成立在我们在Facebook多年研究中所做的事变的基本上的，就像我们本日为构建该体系而将全部差异的乐高积木一样。”

起首，团队行使CommonCrawl来维护Web爬网数据的开放存储库，以从收集上网络文本示例。然后，他们开始行使FastText来辨认文本所行使的说话，FastText是Facebook几年前开拓并开放源代码的文天职类体系，“它根基上是在举办一些测试，并试图确定所用的说话，” Fan说。“因此，我们将收集上的一堆文本分别为全部这些差异的说话，然后我们的方针是辨认将要翻译的句子。”

她继承说：“传统上，人们行使人工翻译来建设翻译数据。”“这在局限上是坚苦的，由于譬喻很难找到会说英语和泰米尔语的人，可是要找到一个会说法语和泰米尔语的人乃至更坚苦，由于非英语翻译如故是一个必要改造的规模。”

为了大局限发掘须要的数据，Fan的团队很是依靠LASER体系。她说：“它读取句子，获取文本并建设该文本的数学暗示，从而使具有沟通寄义的句子映射到沟通的头脑。”“因此，假如我有一此中文和法文的句子，而且他们说的是统一句话，它们将有点重叠-就像维恩图一样-重叠地区是我们以为是对齐句子的文本。”

虽然，并非全部说话在互联网上都有大量可用的书面内容。在这种环境下，范的团队转向了单语数据，即仅以一种说话编写的数据。范老师以中文译成法语的示例举办了表明：“因此，假如我的方针是将中文翻译成法语，但因为某种缘故起因，我的翻译质量不佳，那么我将实行通过获取文本单语数据来对此举办改造用法语。我要做的是对体系举办反向实习：我从法语转到中文。譬喻，我从Wikipedia提取全部法语，然后将其翻译成中文。”

范继承说，这样做会发生大量呆板天生的“合成”数据。“因此，我按照回译的法语建设了此合成中文，然后将其再次添加到正向模子中。因此，我没有从中文到法语，而是有中文加上我的增补合成中文，所有都用法语。并且由于这会在输入端和输出端添加大量新示例，以是该模子将越发强盛。”

这是否会导致数字化的通天塔鱼可以或许活着界上6200多种口头说话之间举办无损翻译。Fan指出，该项目标最终乐成取决于AI可以操作的资源量。对付法语，中文，德语，西班牙语和北印度语等首要说话，这些资源很是富厚。“人们用这些说话在收集上写了大量文本，”范指出。“他们确实可以或许辅佐很大都据，我们的模子可以行使这些数据来变得更好。”

她继承说：“我小我私人确定了在资源很是低的说话中我们也许必要改造的许多规模。”“对付非洲说话，我们在斯瓦希里语和南非语方面相等善于，我们可以在诸如Zulu之类的说话长举办许多改造，而这些说话尚有我们必要面临的其他研究挑衅。”

Facebook正在将数据集，模子，培训和评估配置宣布为研究社区的开放源码，以辅佐刺激进一步的成长。该公司还打算继承独立开拓该体系，并最终将该技能应用于其一般运营中。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!