HDFS应用场景、原理、基本架构

  • 时间:
  • 浏览:0

数据块重分布

HDFS Shell命令—文件管理命令fsck



请点击此处输入图片描述

检查hdfs中文件的健康情况

查找缺失的块以及过少或不多副本的块

查看另六个 文件的所有数据块位置

删除损坏的数据块

二、HDFS访问最好的办法

HDFS Shell命令—数据均衡器balancer

限制另六个 目录最多使用磁盘空间

存储介质种类繁多,另六个 集群中存在多种异构介质

 磁盘、SSD、RAM等

多种类型的任务企图一并运行在同另六个 Hadoop集群中

批解决,交互式解决,实时解决

不同性能要求的数据,最好存储在不相似于别的存储介质上

HDFS自身不提供数据缓存功能,就是使用OS缓存容易内存浪费,eg.另六个 block另六个 副本一并被缓存

多种计算框架共存,均将HDFS作为共享存储系统

MapReduce:离线计算,充分利用磁盘

Impala:低延迟计算,充分利用内存

Spark:内存计算框架

HDFS应让多种混合计算类型共存另六个 集群中

合理的使用内存、磁盘等资源

比如,高频访问的特点文件应被尽由于长期缓存,解决置换到磁盘上

1、HDFS优点

HDFS上文件和目录是不断变化的,快照都不多 帮助用户保存某个时刻的数据;

HDFS快照的作用

解决用户误操作删除数据

数据备份

低延迟数据访问

比如毫秒级

低延迟与高吞吐率

小文件存取

占用NameNode一定量内存

寻道时间超过读取时间

并发写入、文件随机修改

另六个 文件不到有另六个 写者

仅支持append

创建目录

五、HDFS ACL—基于POSIX ACL的实现



六、HDFS快照—背景

在sbin目录下

HDFS缓存—原理



HDFS缓存—实现情况

用户需通过命令显式的将另六个 目录或文件加入/移除缓存

不支持块级别的缓存

不支持自动化缓存

可设置缓存失效时间

缓存目录:仅对一级文件进行缓存

不多递归缓存所有文件与目录

以pool的形式组织缓存资源

借助YARN的资源管理最好的办法,将缓存划分到不同pool中

每个pool有类linux权限管理机制、缓存上限、失效时间等

独立管理内存,未与资源管理系统YARN集成

用户可为每个DN设置缓存大小,该值独立于YARN

2、HDFS缺点

3、HDFS设计思想







4、HDFS数据块(block)

HDFS Shell命令—增加/移除节点



三、HDFS Java API介绍

将本地文件拷贝到HDFS上

HDFS Shell命令—概览



请点击此处输入图片描述

将本地文件上传到HDFS上

HDFS Java程序举例

HDFS将所有存储介质抽象成性能相同的Disk

创建HDFS文件;

限制另六个 目录含有的最多子目录和文件数目

HDFS Shell命令—管理脚本

删除文件/目录

元信息存储在NameNode内存中

另六个 节点的内存是有限的

存取一定量小文件消耗一定量的寻道时间

打比方拷贝一定量小文件与拷贝同等大小的另六个 大文件

NameNode存储block数目是有限的

另六个 block元信息消耗要花费1000 byte内存

存储1亿个block,要花费不多 20GB内存

由于另六个 文件大小为10K,则1亿个文件大小仅为1TB(但要消耗掉NameNode 20GB内存)

四、Hadoop 2.0新特性

文件被切分成固定大小的数据块

默认数据块大小为64MB,可配置

若文件大小不到64MB,则单独存成另六个 block

为什么在数据块这样 之大 

数据传输时间超过寻道时间(高吞吐率)

另六个 文件存储最好的办法

按大小被切分成若干个block,存储到不同节点上

默认情况下每个block有另六个 副本

1、HA与Federation



2、异构层级存储特性—背景

一、HDFS是那此

源自于Google的GFS论文

发表于10003年10月

HDFS是GFS复制版 

Hadoop Distributed File System

易于扩展的分布式文件系统

运行在一定量普通廉价机器上,提供容错机制

为一定量用户提供性能不错的文件存取服务

Configuration类:该类的对象封装了配置信息,那此配置信息来自core-.xml;

FileSystem类:文件系统类,可使用该类的最好的办法对文件/目录进行操作。一般通过FileSystem的静态最好的办法 get获得另六个 文件系统对象;

FSDataInputStream和FSDataOutputStream类:HDFS中的输入输出流。分别通过FileSystem的open最好的办法和create最好的办法获得。 以上类均来自java包:org.apache.hadoop.fs

HDFS Shell命令—设置目录份额

3、异构层级存储特性—原理

HDFS仅提供了有些异构存储特性,并告诉我存储介质的性能;

HDFS为用户提供了API,以控制目录/文件写到那此介质上;

HDFS为管理员提供了管理工具,可限制每个用户对偏离 介质的可使用份额;

目前完成度不高

阶段1:DataNode支持异构存储介质(HDFS-2832,完成)

阶段2:为用户提供访问API(HDFS-5682,未完成)

NameNode HA

NameNode Federation

HDFS 快照(snapshot)

HDFS 缓存(in-memory cache)

HDFS ACL

异构层级存储特性(Heterogeneous Storage hierarchy)

单独启动某个服务

相关内容推荐:基于Dubbo的分布式系统架构实战



4、异构层级存储特性—原理

HDFS快照—基本使用最好的办法



七、HDFS缓存

percentage of disk capacity

HDFS达到平衡情况的磁盘使用率偏差值

值越低各节点越平衡,但消耗时间也更长

高容错性

数据自动保存多个副本

副本丢失后,自动恢复

适合批解决

移动计算而非数据

数据位置暴露给计算框架

适合大数据解决

GB、TB、甚至PB级数据

百万规模以上的文件数量

10K+节点规模

流式文件访问

一次性写入,多次读取

保证数据一致性

可构建在廉价机器上

通不多副本提高可靠性

提供了容错和恢复机制

5、HDFS写流程



6、HDFS读流程



7、HDFS典型物理拓扑



8、HDFS副本放置策略



9、HDFS可靠性策略



10、HDFS不适合存储小文件

HDFS Shell命令

HDFS Java API

HDFS REST API

HDFS Fuse:实现了fuse协议

HDFS lib hdfs:C/C++访问接口

HDFS 有些语言编程API

使用thrift实现 ** 支持C++、Python、php、C#等语言