hadoop集群HDFS中i/0测试

测试环境:

服务器加工作站结合的虚拟机环境


测试过程


由于只是想知道hdfs大概的io性能,所以选择将一个大小为4.16G的文件分别通过HDFS的上传速度和scp的速度对比。具体数据给出如下:








速度对比

这个测试太粗糙,节点中有一个是本地工作站的虚拟机,很可能影响hdfs的网络速度。但是也能看出下载上传快,没有scp速度快。

hdfs的单点下载要比上传快大约1倍。假如通过hdfs实现集群中两个结点之间的文件传输(一个节点上传,另一个节点下载),从上面1GB文件测试结果看,用时大约在1分钟左右,而scp用时半分钟左右,scp快了一倍,如果用socket,速度应该会更快。

所以如果点对点传文件,不建议hdfs!

结论就是,hdfs传输中间结果也许可以在一些特殊场合下用。但更通用的是直接的网络传输,并且在传输时使用适当的压缩(如scp的-C参数)。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容