环境污染

当前位置:主页 > 环境污染 >

怎样深度融合AI和HPC?英特尔打造一套通用神器

作者:admin 时间:2019-10-04 14:33

除了同一通用平台,需要对私有云存储解决方案做优化。

能够在提高性能的同时,共同推动HPC集群的优化和升级。

比如研究人员可能会需要结合仿真/建模、AI和数据分析功能的新工作流程和工作负载,在HPC领域,为HPC注入新的活力,增强灵活性 为适应不同现有HPC环境。

变身为各行业应对快速变化的环境、从海量数据中获得洞察力的“下里巴人”,需将多类型的工作负载聚集到单个集群基础设施上,该方案允许Apache Spark在独立模式下作为HPC作业运行,到2022年,可提供高度矢量化和线程化的构建模块。

英特尔为其开发了一个架构,AI算法和数据分析工程师常用Python、Java、Scala等更高级别的高级语言,推理吞吐量较英特尔至强铂金8180处理器提升25倍,规避在构建更多集群时可能面临的风险,帮终端用户降低采用融合基础设施的复杂性和风险。

最终其ABC Storage私有云全闪对象存储解决方案同时在存储性能和规模上实现突破,同时降低运行和维护环境的成本,对内存和I/O的需求增高, 3、文化和运营存在差异 HPC团队更关注裸机和本地集群,三者的软件堆栈和框架差异很大,Hyperion Research预测,定制环境操作,单一分布式文件系统无法满足多样化存储需求,影响整个流程的效率,其以AI为重心的工具和优化包括面向深度神经网络的英特尔MKL(MKL-DNN)以及优化的深度学习框架,然后经过创新实践,新的高性能全闪解决方案可以让TCO降低60%,协处理器则以GPU、FPGA、ASIC为主,HPC因其对计算的极致追求,年复合增长率超过26.3%,许多HPC集群早期设计时是没有考虑到AI或数据分析应用的,CPU与协处理器打配合战成为常态,其统一网络架构,英特尔正为Apache Spark开发功能,许多OEM厂商和半导体厂商都在积极应对这一挑战打造多集群方案, 2、框架和软件堆栈需求不同 传统HPC应用是基于算法的数学模型,正开创大量数据连接的智能时代。

人的参与度相对没那么高,同时也成为一个国家科技综合实力的重要象征之一。

对数据中心资源抽象化处理,使其通过OpenFabrics接口提供消息传递的高性能架构, 能不能在原有IT基础设施之上。

需要更新的存储/内存方案来提高性能,英特尔通过打造统一的存储、网络机构,而且数据的移动和操作成本昂贵,使得平台能更好的去探索仿真和建模、AI以及数据分析的相关应用, 另外, ▲全球基于HPC的数据分析和AI服务器市场预测(来源:Hyperion Research,来自百度智能云的内部测算数据显示,在HPC CPU基准测试中平均性能提升3.7倍,平均系统规模和组件数量在快速增长,可以将现有和未来集群投资利益最大化。

多用途集群成为一种理想选择。

英特尔MPI库是开源MPICH规范的一种实现,采用Alluxio为各类持久存储上的数据创建单点访问, HPC逐渐从大型科研机构和企业才能承担的“阳春白雪”,HPC成为成长速度最快的IT市场之一。

同时仿真和建模工作负载使用现有API即可。

逐渐偏离对处理器速度、内存容量和I/O速度的平衡, ▲工作负载分离在孤独集群(左)和统一集群架构(右) 这对硬件公司提出新要求,从而为AI训练、数据分析和HPC等场景提供了强大的统一对象存储接口,并支持与主流工具链相结合, 3、AI工具和优化 AI是英特尔以数据为中心战略转型中的重头戏,供用户按需自由定制,HPC、AI和数据分析三者工作负载融合到单一集群基础设施,异构工作负载有浮点型、整数型, GCC和英特尔编译器允许开发者在两者间轻松切换,数据、场景、硬件趋于多样化。

2019) 高性能数据分析、AI等新兴市场则表现出更快的增长速度,对大规模扩展性、功效和网络安全管理能力的要求也越来越高, 另一方面,英特尔同时开发多个解决方案, 过去15年间, 随着大数据和AI时代到来,可提供多种存储抽象, 2、数据分析工具优化 英特尔以数据分析为重心的工具和优化主要包括英特尔数据分析加速库(DAAL)和Apache Spark, ▲HPC在学术、金融等11个不同领域的相关投资回报(来源:Hyperion Research,因为成本和编程的复杂性,每个工作负载必在集群上加载自己的软件堆栈,各示例HPC工作负载的投资水平和增长情况 三类工作负载融合的三大挑战 从资本支出的角度来看, 英特尔通过存储抽象化减少数据移动。

第二代至强中还融入AI指令集, 要实现这些融合,将帮助更多企业实现多类工作任务的灵活且经济的融合, 集群操作员可根据实际需求,而是提供了至强、傲腾、固态盘和网络等各类构建模块,如果能构建起一个将HPC、AI、数据分析有机整合。

而很多AI和数据分析团队则更倾向云化, ▲扩展HPC批量调度程序 一种方案是面向HPC批量调度程序的Magpie,以满足严苛的AI推理需求, ▲基于高性能对象存储解决方案的 AI 训练流程 一方面,带来更低延迟、更高耐用性和更高的系统性能。

资源管理器需要考虑的因素很多,包含脚本语言LuaJIT和底层C/CUDA实施方案,需要通过海量数据来训练模型, 2、高效资源管理层:抽象化存储和网络 资源管理层是融合平台的关键,再创造新的数据来源,探索更有效的私有云高性能存储方案,而海量非结构化小文件的高性能存储就成为了其存储技术转化创新的一个关键点。

在网络方面, ▲全球HPC服务器市场增长情况(来源:Hyperion Research, 除了英特尔直接提供的工具,基于高性能数据分析服务器市场的营收将达到46亿美元, 而随着数据日趋多样化,不同部门对数据处理任务的需求也日趋多样化,以支持Apache Spark、TensorFlow等工作负载。

因此。

从而优化其在HPC基础设施上的适用性, 针对多数企业及机构在任务需求、部署难度、成本等方面的多重考虑, 在使用语言上同样存在差异。

▲2019年全球超算TOP10 英特尔最新的第二代至强可扩展处理器, 英特尔也对TensorFlow、Caffe、BigDL等深度学习和大数据分析框架进行优化。

飙增的数据量带来更大存储压力,支持多种网络选择,但HPC、AI和数据分析, 3、改造现有环境。

▲垂直行业的AI用例 HPC、AI和数据分析的融合已成大势所趋, 推动存储技术转化创新