加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

对比复现34个预训练模型,PyTorch和Keras你选谁?

发布时间:2019-03-17 09:32:48 所属栏目:建站 来源:机器之心编译
导读:Keras 和 PyTorch 虽然是对初学者最友爱的深度进修框架,它们用起来就像描写架构的简朴说话一样,汇报框架哪一层该用什么。这样镌汰了许多抽象事变,譬喻计划静态计较图、别离界说各张量的维度与内容等等。 可是,到底哪一个框架更好一点呢?虽然差异的开拓

这些题目都是实际存在的,原 GitHub 项目为每个题目都提供了链接。项目作者的方针之一是通过为 Keras 预实习模子建设可复现基准,从而辅佐办理上述的一些题目。办理要领可分为以下三个方面,在 Keras 中要做到:推理时代停止分批(batches)。

每次运行一个样本,这样做很是慢,但可觉得每个模子得出一个可复现的输出。

只在当地函数或 with 语句中运行模子,以确保在加载下一个模子时,前一个模子的任何对象都不会生涯在内存中。

2. 预实习模子复现功效

以下是 Keras 和 PyTorch 的「现实」验证集精确度表(已经在 macOS 10.11.6、Linux Debian 9 和 Ubuntu 18.04 上获得验证)。

3. 复现要领

起首必要下载 ImageNet 2012 验证集,该数据集包括 50000 张图片。在 ILSVRC2012_img_val.tar 下载完成后,运行以下呼吁行预处理赏罚/提取验证集:

  1. # Credit to Soumith: https://github.com/soumith/imagenet-multiGPU.torch 
  2. $ cd ../ && mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar 
  3. $ wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash 

ImageNet 验证齐集每个示例的 top 5 猜测已经举办了估量,运行以下呼吁行将直接行使这些估量算功效,并在几秒内复现 Keras 和 PyTorch 基准。

  1. $ git clone https://github.com:cgnorthcutt/imagenet-benchmarking.git 
  2. $ cd benchmarking-keras-pytorch 
  3. $ python imagenet_benchmarking.py /path/to/imagenet_val_data 

不行使估量算数据也可以复现每个 Keras 和 PyTorch 的推理输出。Keras 的推理要花很长时刻(5-10 小时),由于每次只计较一个示例的前向撒播,还要停止向量计较。假如要靠得住地复现同样的精确率,这是今朝发明的独一的要领。PyTorch 的推理很是快(一个小时都不到)。复当代码如下:

  1. $ git clone https://github.com:cgnorthcutt/imagenet-benchmarking.git 
  2. $ cd benchmarking-keras-pytorch 
  3. $ # Compute outputs of PyTorch models (1 hour) 
  4. $ ./imagenet_pytorch_get_predictions.py /path/to/imagenet_val_data 
  5. $ # Compute outputs of Keras models (5-10 hours) 
  6. $ ./imagenet_keras_get_predictions.py /path/to/imagenet_val_data 
  7. $ # View benchmark results 
  8. $ ./imagenet_benchmarking.py /path/to/imagenet_val_data 

你可以节制 GPU 的行使、批巨细、输出存储目次等。运行时加上-h flag,可以查察呼吁行参数选项。

看完文章之后,你更中意谁呢?

原文链接:http://l7.curtisnorthcutt.com/towards-reproducibility-benchmarking-keras-pytorch

【本文是51CTO专栏机构“呆板之心”的原创译文,微信公家号“呆板之心( id: almosthuman2014)”】

戳这里,看该作者更多好文

【编辑保举】

  1. 怎样领略深度进修的优化?通过说明梯度降落的轨迹
  2. 2018年下半年,别错过这些深度进修项目!
  3. 深度进修果实即将摘尽?11位大牛谈AI的当下(2018)与将来(2019)
  4. 深度进修已经触到天花板了吗
  5. 人脸辨认技能总结:从传统要领到深度进修
【责任编辑:赵宁宁 TEL:(010)68476606】
点赞 0

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读