深度分解：数据工程师vs数据科学家
|
为了表明我的“迟钝变革”的意思，我将分享那些我见过的从数据工程师转变为呆板进修工程师的人的履历。 他们花了数年时刻做软件工程师和数据工程师的开拓事变。 他们一向对统计学或数学感乐趣。 其他时辰，他们只是厌倦了作为一名数据工程师所碰着的限定。 无论哪种方法，这种转变必要数年时刻。 介入低级统计课程或低级进修呆板课程之后，我没发明人们能立即成为呆板进修工程师。 正如我将数据科学家视为偏学术一样，数据工程师也不恰恰是得当做呆板进修工程师的。 一个工程师喜好天下里的真和假，黑和白，以及1和0。他们不喜好不确定性。 通过呆板进修，模子的揣摩存在必然水平的不确定性(工程师也不喜好揣摩)。 与大大都工程师差异，呆板进修工程师可以超过数据工程简直定性和数据科学的不确定性。 呆板进修工程师日益增进的代价 举办数据科学的门槛正在逐渐低落。 最佳实践正在慢慢充分。 最常见的算法变为共鸣。 更好的动静是，有人已经编码并优化了这些算法。 这种不绝增添的成熟性，使得数据科学家和呆板进修工程师更轻易将算法投入出产而无需编码。 我们也看到，数据科学变得越发自动化，有着更为自驱动的进程。 Google的AutoML就代表了这样一种趋势，器材会自动为您找到最佳算法，无需成熟数据科学家的事变即可得到功效。 DataRobot是另一种自动化技能，它为数据探求最佳的数据科学算法。 它还将辅佐呆板进修工程师将算法投入出产。 这些器材不会代替硬核的数据科学，但它将使数据科学家可以或许专注于数据科学中更坚苦的部门。 它将使呆板进修工程师变得越来越有出产力。 我们将逐渐看到，呆板进修工程师的承担会加倍镌汰，自动化算法加倍增进。 将来应该祈望呆板进修工程师到达何种程度的出产力?我对这一点感想阁下为难。简朴来说，呆板进修工程师是否要为他们的Web开拓职员做Wordpress设置员? 在这种场景下，呆板进修工程师可以通过众所周知的尺度用例来进步事变服从，只稀有据科学家才气处理赏罚真正的自界说事变。 可能，呆板进修工程师会从头成为数据库打点员吗? 在对模子已知的深入相识，他们可以行使已知的、如出一辙的要领来设置模子，在50-80%的时辰得到正确的功效，而且这足以满意全部需求。 要得到真正精确的功效，您会必要一位数据科学家。 呆板进修工程师和数据科学家的出产力的要害，将会是他们的器材。 此刻器材缺乏成熟度，这就是为什么我会好奇他们未来会有何等高效。 我但愿数据科学的入门门槛继承低落。 这将使呆板进修工程师可以或许在不大量增进常识的环境下完成更多的数据科学事变。 我但愿呆板进修工程师的脚色在美国和全天下范畴内变得越来越广泛。 该怎么做? 此刻您已经看到了数据科学家和数据工程师之间的差别，您必要环视整个机构，看看您必要在哪些处所作出改变。 这是我辅佐其他机构完成的一项厘革，他们已经看到了庞大的成就。 在数据科学小组好像陷入逆境、无法有作为的环境下，我们建设了数据工程团队，向数据科学和数据工程团队展示了怎样协同事变，并拟定了正确的流程。 这些变革使数据科学团队的出产力从20%进步到90%。 团队可以或许用沟通数目的人做更多工作。 数据科学家们更开心，由于他们没有举办数据工程。 打点层可以开始基于备受等候的大数据提供代价。 您大概还会碰着一个新岗亭，呆板进修工程师。 跟着您的数据科学和数据工程团队的成熟，您必要搜查团队之间的差距。 您也许必要抬举一位数据工程师，在他的全力路径上让他成为呆板进修工程师，或直接礼聘一位呆板进修工程师。 最后，大数据的绝大大都题目都是人和团队的题目。 它们不是技能题目(至少在最初阶段不是)。 技能凡是会受到指责，由于责骂技能要比团队自省轻易得多。 在您办理人事题目之前，您不会碰着真正棘手的技能题目，也不会缔造出您所祈望的大数据可以或许带来的代价。 厚道地审阅您的团队和您的机构，看看您必要在那边作出改变。 【编辑保举】
点赞 0 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
