您当前位置：首页 > 服务器 > hadoop distcp 实现不同集群之间数据同步

hadoop distcp 实现不同集群之间数据同步

来源：程序员人生发布时间：2015-04-28 08:21:22 阅读次数：4934次

1.相同hadoop版本同步数据

hadoop distcp -skipcrccheck -update -m 20 hdfs://dchadoop002.dx:8020/user/dc/warehouse/test /user/dc/warehouse/test

2.不同hadoop版本同步数据

hadoop distcp -skipcrccheck -update -m 20 hftp://ns1/user/test /user/dc/test

参数:

-m 表示并发数

-skipcrccheck 跳过hdfs校验

-update 更新文件

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠
程序员人生

------分隔线----------------------------

上一篇 面试中被问到：Android中activity保存状态和数据到底该在哪个方法中进行

下一篇 leetcode || 74、Search a 2D Matrix

分享到:

------分隔线----------------------------

为码而活

积分：4237

15粉丝

7关注

栏目热点