2.2、HDFS 读文件,可靠性以及命令工具

2017年07月28日 11:11 | 764次浏览 作者原创 版权保护

HDFS - 读文件

客户端向NameNode发送读取请求

NameNode返回文件的所有block和这些block所在的DataNodes(包括复制节点)

客户端直接从DataNode中读取数据,如果该DataNode读取失败(DataNode失效或校验码不对),则从复制节点中读取(如果读取的数据就在本机,则直接读取,否则通过网络读取)


HDFS - 可靠性

1、DataNode可以失效

DataNode会定时发送心跳到NameNode。如果在一段时间内NameNode没有收到DataNode的心跳消息,则认为其失效。此时NameNode就会将该节点的数据(从该节点的复制节点中获取)复制到另外的DataNode中

2、数据可以毁坏

无论是写入时还是硬盘本身的问题,只要数据有问题(读取时通过校验码来检测),都可以通过其他的复制节点读取,同时还会再复制一份到健康的节点中

3、NameNode不可靠


HDFS - 命令工具

fsck: 检查文件的完整性

start-balancer.sh: 重新平衡HDFS

hdfs dfs -copyFromLocal 从本地磁盘复制文件到HDFS


此文章本站原创,地址 https://www.vxzsk.com/1241.html   转载请注明出处!谢谢!

感觉本站内容不错,读后有收获?小额赞助,鼓励网站分享出更好的教程