数据科学家“可怕故事”

大数据文摘出品

编译：张秋玥、蒋宝尚

笔墨语音转换圈内传播这么一则真假未知的故事：一个研究者花了数月(乃至数年)调解他/她的语音天生模子，使其语音样本听起来结果很是好。最后他们发明，他们从新到尾都误用统一语音文件举办实习，最终模子只是完全切合该语音文件特性以是才拥有云云流通的语音样本输出。这个故事到此刻都让人毛骨悚然。

想象一下另一则可怕故事：你是个小演习生，，老板让你搭建一个判定辨认“Yes”与“No”的语音辨认分类器。你有这些音频文件：yes1.wav，no1.wav，yes2.wav，no2.wav，yes3.wav等等。你建好了分类器，结果也很好。就在你要展示事变成就之前，你发明这个模子独一在做的工作就是通过读取文件名里的yes可能no来猜测功效，压根不会听文件内里的音频。你吓傻了，大哭一场，筹备跑路。

这就是本文作者Vincent Vanhoucke所经验的可怕故事，完全真实，这些小事情也抉择了这位Google首席科学家的职业生活。

以下是他以第一人称报告的更多小故事，让我们看看可以或许从中获得哪些履历：

那是我作为研究者的第一份事变。使命很明晰，提供了大量数据以及优越的猜测精确度尺度来评估模子结果。模子的基准功效很强，我最后乃至和一位客户一路在出产实践中陈设了这个模子。

我有试图按照我认为很智慧很锋利的要领来改造模子示意指标——它没有很美满但每一天都在前进。我都能看到我脑筋里逐步形成的一篇优越学术论文啦。糊口真柔美。

这算是一项财富研究，以是在开始撰写论文之前我还必要通过最后一项测试：行使真实顾主数据来评估模子，以便于快速在出产实践中陈设改造方案。在真实数据集上我的模子告竣了零准确度成绩。我然则一向在进步我认为超等锋利的示意指标来着。

八成是出了bug，要不就是真实顾主数据质量很糟糕——我脑筋这么想着，认为没多大相关就急着开始上手写论文了。但现实上我又并没有步伐完全放下这个糟糕功效，以是我就开始研究到底是怎么回事。我最后发明的是全天下数据科学家配合的恶梦：精确度就是零，这一点毫无疑问。我其他全部的精确度数据都是所谓的“鬼魂”数字。我的确不敢信：这些数字看起来超可信啊，它们比基准高但并没有高到不行能的境地。

人们常说，劫难一样平常不会“成单”呈现，而是在有两件事一路堕落时，由于我们总体来说很善于预判并纠正单个失误。为了完全相识到底是什么样险些不行能产生的系列变乱导致了这些看似可信的准确度数字的呈现，我必需得从细节开始说明。

模子方针是改进用来辨认人名的语法数据布局。好比说，若是你叫“Robert Moore”，语音辨认体系也许将会把你的名字编译成为一个语音图，大抵看起来像是某种正则表达式：“/(ˈɹɑb.əɹt|ˈbob|ˈɹɑb) mʊɹ/”——它还兼容相同于“Rob”或“Bob”的昵称呢。我的使命是天生更好的语音图。我的数据被存储为键值对数据库的情势：

record { 
key (string): “robert_moore” 
value (Grammar): /(ˈɹɑb.əɹt|ˈbob|ˈɹɑb)mʊɹ/ 
} 

这里有一个bug：有些我的语法数据布局里用到的语音标记并不会被发音引擎辨认。体系实行把语法数据布局编译为一个应今世表正则表达式的图像工具，但它失败了。在层层代码的深处，有人曾实行将体系变得对付这些失败越发妥当：事实，只要也许，你永久不但愿体系在出产实践中溘然垮掉嘛。那段代码看起来相同于这样：

Graph* graph = compile(record->value); 
if (!graph) { // Failed to compile. 
graph = compile(record->key); // （什么鬼？？？） 
} 

这可真的让我大吃一惊措手不及：怎么会有人认为只要一条数据库记录破坏了就代表这笔记录的键包括真正的负载?并且这怎么也许可行嘛?“值”就是一条序列化的型语法，“键”就只是一串字符罢了。再深挖一点——看，更“妥当”的在这里：

Grammar* grammar = parse(record); 
if (!grammar) { // Failed to parse. 
grammar = parse(pronounce(record)); // （啥？？？） 
} 

假如数据不是我们预想的范例，我们就会只管提取那笔记录的内容为单词举办发音。为什么不呢，横竖已经毫无但愿了嘛。并且，发音天生是一项很是耗时耗计较力的操纵。想象一下，不管出于什么缘故起因，一大串没有任何意义的垃圾字符(包罗对付拒绝处事的反扑性操纵)溘然被输入到体系里，这对付体系意味着什么。体系将会立即过载，而非“逐渐失败”。

你也许已经意识到接下来要产生什么了。我的数据的键都是用户的真名，好比“robert_moore”。发音引擎很轻易就将其近似于“/ˈɹɑb.əɹt mʊɹ/.”。以是，我的数据的题目直接来自于抉择模子评估尺度的究竟。

理论上来嗣魅这就与我在前文提到的按照文件名猜测音频是yes照旧no一个原理。我没预推测的是，发音模子的随机试验看起来确实改进了功效。然而，那着实只是取决于每次尝试中未编译乐成的数据比例罢了。我的模子失败次数越多，天生的错误就更多，真实键值行使的更多，我的模子准确度就越好。至于解锁零准确度成绩的真实数据?谁人数据库里的键都是参差不齐的字符串，看起来相同于“h4a7n6ks2l”这种发音模子?

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!