400-650-7353

精品课程

您所在的位置:首页 > IT干货资料 > 大数据 > 【大数据基础知识】Hadoop之HDFS概述

【大数据基础知识】Hadoop之HDFS概述

随着我们业务数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就需要分配到更多的操作系统管理的磁盘中。但是这给我们带来的一个问题就是,更多的操作系统非常不方便集中管理和维护。这时迫切需要一种系统来管理多台机器上的文件,这就产生了分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

HDFS(Hadoop Distributed File System),它是一个分布式文件管理系统。一是,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,并且集群中的服务器有各自的角色。集群不一定是分布式的,但是分布式一定是集群。HDFS的设计适合一次写入,多次读出的场景,但不支持文件的修改。HDFS适合用来做数据分析,并不适合用来做网盘应用。

下面我们来看下HDFS的优缺点吧。

HDFS优点:

(1) 高容错性

a)每份数据都自动保存多个副本。HDFS正是通过增加副本的的方式来提高容错性;

b)如果某个副本丢失,HDFS还可以自动恢复。

(2) 适合大数据处理

(a)数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;

(b)文件规模:能够处理百万规模以上的文件数量,数量相当之大。

(3) 流式数据访问,它能保证数据的一致性。

(4) 可构建在廉价机器上,通过多副本机制,提高可靠性。这一点也是HDFS的突出优势,高性能的集群无需采用价格高昂的服务器,而是构建在廉价的机器上呢。

HDFS缺点:

(1) 不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。

(2) 无法高效的对大量小文件进行存储。

a) 存储大量小文件的话,它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的,因为NameNode的内存毕竟是有限的。

b) 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标。

(3) 不支持并发写入、文件随机修改。

a) 一个文件只能有一个写,不允许多个线程同时写;

b) 仅支持数据append(追加),不支持文件的随机修改。

课程好礼申请领取
您的姓名
您的电话
意向课程
 

中公优就业

官方QQ

扫描上方二维码或点击一键加群,免费领取价值599元网课,加群暗号:599。 一键加群

>>本文地址:
注:本站稿件未经许可不得转载,转载请保留出处及源文件地址。

推荐阅读

测一测
你适合学哪门IT技术?

1 您的年龄

2 您的学历

3 您更想做哪个方向的工作?

获取测试结果
 
课程资料、活动优惠 领取通道
 
 
网站地图 cc彩票游戏 快乐彩票平台是否正规 彩29彩票网开户
138申博亚洲 申博娱乐怎么登陆 沙巴体育投注平台 申博真人游戏
乐丰国际平台黑钱 云顶彩票福彩3D 真龙国际线上娱乐 欧博娱乐如何注册账户登入
快乐彩票什么网 58彩票网平台 澳门太阳城集团官网 快乐彩票网注册
500w彩票网开户 五星彩票网客户端下载 快乐彩票网开户 cc彩票app下载
261SUN.COM 8ZQS.COM 155TGP.COM XSB298.COM 758DC.COM
538PT.COM 388TGP.COM 1188DZ.COM 998XTD.COM 88sbsg.com
66sbsun.com XSB638.COM XSB887.COM 304psb.com DC537.COM
8NDS.COM 1666DZ.COM 988ib.com 666TGP.COM DC815.COM