2019机器学习框架之争：与Tensorflow竞争白热化，进击的PyTorch赢在哪里？
|
PyTorch和TensorFlow的焦点是自动差别化框架，它能对某个函数求导。实现自动微分的要领有许多，大大都当代呆板进修框架所选择的要领被称为“逆向模式自动微分”，也就是凡是所说的“反向撒播”。对神经收集的衍生而言，这种实现长短常有用的。 然而，在计较高阶导数(Hessian/Hessian Vector Products)时，就出题目了。有用地计较必要“正向模式自动微分”，假如没有这个成果，Hessian Vector Products的计较速率就会低落一个数目级。 Jax是由最初制作Autograd的统一批人建设的，它具有正向和反向模式自动分化的成果，这使得计较高阶导数的速率比PyTorch/TensorFlow的更快。 而且，Jax不只能计较高阶导数，Jax开拓职员将Jax视为构成恣意函数转换的框架，包罗vmap(用于自动批处理赏罚)或pmap(用于自动并行化)。 Jax最初的行使者首要是大学结业生(尽量没有GPU支持，但ICML有11篇论文行使了它)，但信托Jax很快就会找到一个相同的忠实粉丝社区，用它来做各类n阶导数。 2. 不足机动! 当运行PyTorch/TensorFlow模子时，大部门事变现实上并不是在框架自己中完成的，而是由第三方内核完成的。这些内核凡是由硬件供给商提供，相同于MKLDNN(用于 CPU)或cuDNN(用于Nvidia GPUs)，由高级框架可以操作的操纵符库构成。高级框架将计较图表解析成块，然后挪用计较库。这些库代表了数千小时的事变量，并针对系统布局和应用措施举办优化以得到最佳机能。 然而，最近非尺度硬件、稀少/量子化张量和新运算符的风行袒露了依烂魅这些运算符库的一个缺陷：它们不足机动!假如你想在研究中行使像胶囊收集(capsule networks)这样的新操纵怎么办?现有的办理方案还不足完美。正如本文所说，现有的胶囊收集在GPU上的实现比最优实现慢2个数目级。 每个新的硬件系统布局、张量或算子的种别，都大大增进了题目的难度。今朝已经有很多处理赏罚器材，如Halide、TVM、PlaidML、TensorComprehensions、XLA、Taco等，可是正确的要领还没找到。 假如没有办理这个题目，我们就谋面对呆板进修研究与器材太过匹配的风险。 六、呆板进修框架的将来 对付TensorFlow和PyTorch的将来，他们的计划已经趋于同等，任何一个框架都不会依附其计划而取得最终胜利，每一方也都有本身的地皮——一方拥有研究，另一方拥有家产。 就我小我私人而言，在PyTorch和TensorFlow之间，我会认为PyTorch更有胜算。由于呆板进修如故是一个研究驱动的规模，家产界不能忽视研究成就，只要PyTorch在研究规模占有主导职位，企业就只有被迫转型。 然而，跑得足够快的不只仅是框架。呆板进修研究自己也处于一个庞大的厘革中。不只框架产生了变革，5年来行使的模子、硬件、范式与我们本日行使的截然差异。将来大概PyTorch和TensorFlow之间的战役将变得无关紧急，由于另一种计较模子或将占有主导职位。 在全部这些彼此斗嘴的好处中，呆板进修投入了大量资金，退一步想想着实也不错。大大都从事呆板进修软件的事变不是为了赚钱，也不是为了帮忙公司的计谋打算，而是想要推进呆板进修的研究，体谅人工智能民主化，也或者他们只是想缔造一些很酷的对象。 以是，不管你更喜好TensorFlow照旧PyTorch，它们的目标只有一个，就是想让呆板进修做到最好。 相干报道： https://thegradient.pub/state-of-ml-frameworks-2019-PyTorch-dominates-research-TensorFlow-dominates-industry/?nsukey=RG9rAFcvX0owsip%2BviuAbdWRIFSgV1Yvu7Oj6KhVNWWGEpmoUHaDqlPyjAOIGgCho%2B2PznlO1KQYW8u9DRdYlPaILzqUApS1GAhmL3M0gzBGeyCQhOpiftWASSZTR1xaNMzV7VwTuLvCfUyjKAw1TyuzeOQxF8yhnIiuGJcRdthH7JX%2FaOLMtMfgaiDs0TuIDe5lMlcmhRZtnAg3YP30gg%3D%3D 【本文是51CTO专栏机构大数据文摘的原创译文，微信公家号“大数据文摘（ id: BigDataDigest）”】 戳这里，看该作者更多好文
（编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
