怎样将数据移入和移出Hadoop？

默认环境下，DistCp行使20个mapper运行，每个mapper副本对应的文件由选择的复制计策确定。Hadoop开拓职员思量了mapper数目的默认配置，选择正确的值是想要行使几多收集带宽以及但愿在复制时代占用几多使命的函数，可以通过指定-m后跟的值来变动mapper的数目。

带宽

最后一个思量身分是复制时代行使的收集带宽。大型副本也许会使集群之间的收集饱和。企业中收集运营职员保持运行精采的一种要领是行使-bandwidth参数来指定每个map使命在复制时代耗损的带宽量上限。此参数的值以兆字节/秒(MBps)为单元。

其他

到今朝为止，我们已经看到了DistCp中一些更风趣的选项。要查察完备的选项列表，可以运行distcp呼吁，可能查察Hadoop文档。

【编辑保举】

1. Hadoop系统布局中的处事脚色先容
2. Hadoop刊行版本之间的区别
3. Hadoop生态体系各组件与Yarn的兼容性怎样？
4. Hadoop中Hive道理及安装
5. 大数据的特点是什么，大数据与Hadoop有什么相关？

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!