入迷入化：特斯拉AI主管、李飞飞高徒Karpathy的33个神经收集「炼丹」能力

最后，为了越发确保收集是个公道的分类器，我喜好可视化收集第一层的权重，确保本身得到了故意义的边沿。假如第一层的滤波器看起来像噪声，那必要去掉些对象。相同地，收集内的激活函数偶然辰也会显现出一些题目。

5. 精调

此刻你应该位于数据集一环，试探取得较低验证丧失的架构模子空间。这一步的一些能力包罗：

• 随机网格搜刮：在同时精调多个超参数时，行使网格搜刮听起来更勾引，可以或许确保包围到全部情形。但记着，行使随机搜刮反而是最佳方法。直观上，由于神经收集对一些参数更为敏感。在极限环境下，假如参数 a 很重要，改变 b 却没有影响，然后对比于多次在牢靠点采样，你情愿彻底采样 a。
• 超参数优化：现在社区内有大量好的贝叶斯超参数优化器材箱，我的一些伴侣用事后认为很乐成。但我的小我私人履历是，试探好的、宽的模子空间和超参数的最佳要领是找个演习生。恶作剧罢了，哈哈哈。

6. 最后的压榨

一旦你找到最好的架构范例和超参数，依然可以行使更多的能力让体系变得更好：

• 集成：模子集成是能将精确率不变晋升 2% 的一种好方法。假如你包袱不起测试阶段的计较本钱，试着行使《Distilling the Knowledge in a Neural Network》中的要领把你的模子蒸馏到一个收集。
• 一向实习：我常常看到一些人在验证丧失趋平常会间断模子实习，以我的履素来看，收集会长时刻保持非直观的实习。寒假时有一次我忘了关掉模子实习，一月返来后发明它取得了 SOTA 功效。

结论

一旦你做到了这些，你就具备了乐成的全部要素：对神经收集、数据集和题目有了足够深的相识，设置好了完备的实习/评估系统，取得高置信度的精确率，逐渐试探更伟大的模子，晋升每一步的示意。此刻万事俱备，就可以去读大量论文，实行大量尝试并取得 SOTA 功效了。

原文链接：https://karpathy.github.io/2019/04/25/recipe/

【本文是51CTO专栏机构“呆板之心”的原创译文，微信公家号“呆板之心( id: almosthuman2014)”】

戳这里，看该作者更多好文

【编辑保举】

1. Istio毕竟是干嘛的？
2. 马蜂窝火车票体系处事化改革初探
3. 阿里大牛：怎样画出一图胜千言的技能架构图？
4. 大噶?鲱易懂的Hbase架构道理理会
5. 这里有8个风行的Python可视化器材包，你喜好哪个？

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!