编者按:7月23日,华为香农实验室面向全球发布了数据中心(Data Center)3.0架构白皮书,意在指出现有数据中心应对未来大数据处理面临一系列挑战,包括PB/S的实时数据处理,按需动态资源分配及调整,大规模系统的能效提升等。
随着大数据时代的到来,数据中心里越来越多的设备需要处理大数据任务,所以下一代数据中心将要具备处理PB/s级的数据能力以确保计算、存储和网络的高吞吐量,适应多变的资源需求,全天候保证大型服务覆盖范围,并支持高并发访问以及快速部署和资源配置等能力。
大数据时代为数据中心带来的需求
据了解,数据中心经过十年来的演变,已从最初的数据中心1.0(紧密耦合的服务器)进化到数据中心2.0(软件虚拟化)时代,虽然数据中心2.0中的DCS系统可以让数据处理能力有显著的提高,但由于其局限性、吞吐量、资源利用、可管理性和能源效率的表现,未能满足大数据时代的需求。因此,为满足时下大数据的需求,CSDN记者注意到华为本周针对数据中心发布3.0架构和白皮书。其中,在白皮书里提到,数据中心架构3.0具备了以下几个特点:
数据中心演变史
面向大数据:数据中心3.0的设计概念不同于传统数据中心的集散控制系统。基于数据中心3.0架构会提供优化快速的传输机制,海量数据的高度并行处理,让大数据分析应用具备不同的特点。
对任务的变化,适应:随着资源需求的变化为大数据分析应用带来了发展。为此,应用程序的资源使用的优先需要也将会不同。数据中心3.0对大数据任务的变化和适应具备着很高的高灵敏度。
智能管理:数据中心3.0涉及到大量的硬件资源和高密度计算,需要更高的智能化管理。此外,服务水平协议(SLA)在数据中心复杂的计算里,也需要低开销的自我运行的管理解决方案。
高扩展性:大数据的应用程序需要在DCS系统中以高吞吐量低延迟的环境下访问。在同一时间里,高密度的数据通过DCS系统被纳入到数据中心里,所以需要足够的处理能力。
开放的,基于标准和灵活的服务层:由于存储UI存在于不用的协议层上,往往企业的IO没有统一的动态资源管理,结果导致无法动态的分配资源。另外,基于抽象和分层的一般原则,开放和面向服务架构(SOA)标准已被证明是有效的,使各种规模的企业和开发企业应用程序进行集成,来匹配日益增长的业务和技术不断进步的需求而设计。而软件定义的网络(SDN)也在帮助如谷歌等行业巨头提高网络资源的利用率证明数据中心集中资源优化调度。
为了满足以上需求,使DCS系统具备充分处理大数据的能力,华为向业界展示了一种新的高吞吐量数据中心架构――HTC-DC。HTC-DC基于资源分解,界面统一互联合自上而下的优化软件栈,促使加速数据操作及轻松的数据管理。
HTC-DC体系结构
HTC-DC将硬件资源组成不同的池,并相互接连在一起。管理平面通过数据中心操作系统提供数据中心水平的监测和协调(OS),而相关的数据访问操作主要在数据平面进行。在管理层面,集中资源管理中心(RMC)对相关任务进行全球资源协调,智能管理功能,如负载平衡,SLA保证等。
htc-dc硬件体系结构
另外,HTC-DC里每个计算节点可运行多个类型处理器(如:x86,ARM,Atom和Power等)用于处理多样化的数据。在内存节点采用混合存储池,如DRAM和非易失性存储器(NVM)来优化高通量的访问。在I / O池,一般用途的扩展(GPU的大规模扩展,外部存储,网络等)可以通过每个节点的I / O端口支持不同类型的负载,而且每个节点都配备一个云控制器可用于不同类型的节点上进行多元化管理。
值得一提的是,为了提高计算密度、增强数据吞吐量和降低通信延迟,HTC-DC含有初始化数据处理单元,采用基于多核架构的轻量级的核心,异构三维堆叠并通过硅通孔(TSV)技术。
多核处理单元
在HTC-DC,DPU可以作为主要的计算组件,其基本要素是处理器DPU模具(POD),其中包括NOC,内嵌NVM,重/轻核集群和计算加速器。