Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0发布了，新的稳定版，发布频率和质量愈来愈高了，增加了很多东西，从安装包的大小就可以看出来，直接增加了50M，30%有木有。

下面看1下，2.6.0都有啥好东西。

Common：

1.      Hadoop Key Management Server（KMS）是1个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了1个client和1个server组件，client和server之间基于HTTP协议使用REST API通讯。Client是1个KeyProvider的实现，使用KMS HTTP REST API与KMS交互。KMS和它的client有内置的安全机制，支持HTTP SPNEGO Kerberos认证和HTTPS安全传输。KMS是1个Java Web利用程序，运行在与Hadoop发行版绑定在1起的预先配置好的Tomcat服务器上。

2.      Tracing

HDFS⑸274增加了追踪通过HDFS的要求的功能，此功能使用了开源的库，HTrace。大家可以看1下HTrace，功能很强大，Cloudera开源出来的。

HDFS：

1.      Transparent Encryption，HDFS实现了1个透明的，端到真个加密方式。1旦配置了加密，从HDFS读出数据解密和写入数据加密的进程对用户利用程序代码带来讲都是透明的。加密进程是端到真个，这意味着数据只能在客户端被加密解密。HDFS历来不存储，也不访问未加密的数据和数据加密密钥。这样满足了加密进程的两个典型的需求：at-rest encryption（静态加密，也就是说，数据持久化在像硬盘这样的媒介上），in-transit encryption（在途加密，例如，当数据在网络中传输的时候）。

2.      Storage SSD&& Memory。ArchivalStorage（档案存储器）是将计算能力与不断增长的存储能力分离。具有高密度低本钱的存储但是计算能力较低的节点将变得可用，可以在集群中做冷存储。增加更多的节点作为冷存储可以提高集群的存储能力，跟集群的计算能力无关。

MapReduce

这1部份主要是1些bug的修复和改进。增加了两个新的新特，在2.5.2里已有所描写了。这里在简单看1下。

1.      ResourceManger Restart

2.      允许AM发送历史事件信息到timeline server。

YARN

1.      NodeManager Restart：这个特性可使NodeManager在不丢失运行在节点中的活动的container的情况下重新启动。

2.      Docker Container Executor：DockerContainer Executor（DCE）允许YARN NodeManager在Docker container中启动YARN container。用户可以指定他们想用来运行YARN container的Docker的镜像。这些container提供了1个可以自定义的软件环境，用户的代码可以运行在其中，与NodeManager运行的环境隔离。这些运行用户代码的container可以包括利用程序需要的特定的库，它们可以具有与NodeManager不同版本的Perl，Python乃至是Java。事实上，这些container可以运行与NodeManager所在的OS不同版本的Linux。虽然YARN container必须定义运行Job所需的所有的环境和库，但是NodeManager中的所有的东西都不会同享。

Docer为YARN提供了1致和隔离两种模式，1致模式下，所有的YARN container将具有相同的软件环境，在隔离模式下，不管物理机器安装了甚么都不干扰。

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠