万博app下载微米加速霍顿工厂数据平台

概述

历史上,数据科学家面临的主要挑战之一是为CPU提供足够快的数据,以减少空闲时间并充分利用这些昂贵的资源。CPU空闲时间不仅效率低下,这对实时性很不利,可操作的结果。要获得实时分析的好处,需要在Micron加速HortonWorks数据平台中集成更快的存储。万博app下载

如何建造和测试

测试环境使用一个运行kvm的节点来虚拟化运行namenode的服务器,辅助名称节点,资源管理器,动物园管理员Hive和Ambari服务器。数据节点是四个服务器。网络交换机是一个48端口的10GbE交换机,运行cumus linux 3.4.2。

霍顿工程

Hadoop集群软件由一个HortonWorks HDP 3.0 Hive数据库组成,该数据库位于部署在两个单独的四节点集群上的HDFS/Sharn上。两个集群的区别仅在于一个集群使用一组15K SAS HDD,第二个集群使用相同的HDD配置,在每个节点上添加一个单微米9200最大的NVME SSD,并将纱线缓存重定向以使用NVME SSD。万博app下载

为确保存储I/O的真实测量,数据库大小与内存之比的目标是大约2:1(在操作系统开销之后可用的总集群内存为822GB的2TB数据)。

为何选择HortonWorks数据平台3.0

HortonWorks数据平台(HDP)是一个开放源码的框架,用于大型分布式存储和处理,多源数据集。当与Micron SSD智能集成时,万博app下载HDP 3.0提供了显著改进的数据库查询性能,与传统的Hadoop基础设施相比,能够更快地以更经济的方式洞察数据。

关键基准和效益

  • 1.7x TPC-DS基准完成查询时间总体平均改善

霍顿工程

  • 在TPC-DS基准查询期间消除CPU I/O等待时间

霍顿工程

万博app下载Micron IT Hadoop案例研究

我们的测试取得了巨大的成果,使我们的Micron IT部门将配置部署在用于万博app下载生产效率分析的现实集群中,以最低的成本获得更高的性能。阅读博客在这里.

霍顿工程

资源

+