时隔两周,Hadoop 3.1版本发布支持GPU和FPGA

　　【资讯】3月25日，Hadoop 3.0.1版本正式发布，这也让Hadoop正式迈入3.0时代。时隔两周，Apache Hadoop 3.1.0正式发布。与之前的版本(hadoop-3.0)相比，新版本具有许多重要的增强功能，比如支持GPU和FPGA。

　　不过，新版本暂不推荐在正式生产环境中使用。如果需要，请等待更稳定的3.1.1或者3.1.2版本。

　　以下简要介绍主要功能和改进：

　　·Yarn Service框架提供一流的支持和API来长期运行在YARN中的原生托管服务。简而言之，它作为一个容器管理平台管理YARN上的集装箱化服务，支持YARN中的容器集装箱和传统的基于容器的过程。

　　·YARN上的一流GPU调度和隔离(适用于docker和non-docker containers)。

　　·YARN上的一流FPGA调度和隔离(适用于docker和non-docker containers)。

　　·在YARN中支持更多布局约束。这些约束对于应用程序的性能和弹性至关重要，尤其是那些包含长期运行容器的应用程序，，如服务，机器学习和流式工作负载。

　　例如，将同一机器上的任务分配(相似性约束)以降低网络成本，扩展机器之间的分配(非相似性约束)以最小化资源干扰，或者允许达到特定节点组的分配数量(基数约束)以在两者之间取得平衡。放置的位置也会决定弹性。例如，放置在同一可用区域内的集群将同时脱机。

　　·支持管理员为队列指定绝对资源(X内存，Y VCores，Z GPU等)，而不是提供基于百分比的值。这让管理员可以更好控制给定队列配置所需的资源量。

　　·提供的存储允许将存储在HDFS之外的数据映射到HDFS并从HDFS进行寻址。它通过向DataNode中的媒体集引入新的存储类型PROVIDED，构建异构存储。