为什么大型机器学习模型不能扩大？

更大的局限不必然更得当呆板进修。可是，跟着研究职员彼此竞争追求最先辈的基准，深度进修模子和逊??们的数据集不绝扩展。不管它们怎样打破，更大的模子城市对预算和情形发生严峻的影响。好比 GPT-3，一个在客岁炎天推出的大受接待的天然说话处理赏罚模子，听说花了 1200 万美元 用于实习。更有甚者，马萨诸塞大学阿默斯特分校（UMass Amherst）的 研究职员发明，实习大型人工智能模子所需的计较手段可以或许发生 60 多万磅的二氧化碳排放——是平凡汽车寿命周期排放量的 5 倍。

今朝，没有迹象表白，以呆板进修行业的成长速率，计较麋集型事变将会放缓。OpenAI 的研究表现，深度进修模子的计较手段在 2012 到 2018 年间增添了惊人的 30 万倍，高出了摩尔定律。这个题目不只仅是实习这些算法，而是要在出产情形下运行它们，可能说在推理阶段。对许多团队而言，因为纯粹的本钱和资源的限定，深度进修模子的现实应用如故遥不行及。

幸好，研究职员发明白一些新的要领来缩小深度进修模子，并通过更智能的算法来优化实习数据集，使得模子在出产情形下运行得更快，计较劲也更少。就连业界的一个峰会也专门接头低功耗、微型呆板进修。剪枝（Purning）、优化（Quantization）和迁徙进修（Transfer Learning）就是三种详细的技能。这些技能可以让那些无法投资数百万美元把模子转换成出产情形的组织实现呆板进修的民主化。对“边沿”用例来说，这一点尤为重要，由于大型专用人工智能硬件在物理上并不切现实。

第一种技能，即剪枝，是近几年来研究的热门之一。包括“深度压缩”（Deep Compression）和“彩票假说”（Lottery Ticket Hypothesis）在内的高引用文献表白，可以在不丧失正确性的环境下消除神经收集中“神经元”之间一些不须要的毗连，有用地使模子更小、更轻易在资源有限的装备上运行。最新的论文 进一步验证并完美了早期的技能，以开拓出更小的模子，使其到达更高的速率和正确度。对某些模子，好比 ResNet，可以在不影响正确性的环境下剪枝 90% 阁下。

第二种技能，即优化，也正在慢慢遍及。优化 涉及很多差异的技能，它们可以将大的输入值转换为小的输出值。换句话来说，在硬件上运行神经收集可以发生上百万次乘和加运算。镌汰这些数学运算的伟大性有助于镌汰内存需求和计较本钱，这将大大进步机能。

最后，固然这不是一种缩小模子的技能，可是 迁徙进修 可以或许在有限的数据中辅佐实习一个新模子。迁徙进修以预实习模子作为出发点。通过有限的数据集，模子的常识可以“迁徙”到一个新的使命中，而无需从新再来实习原始模子。在实习模子时，这是一种镌汰计较手段、能源和资金的重要要领。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!