intelgaudi2加速器为何能在ai算力上如此彪悍
绝了!初爱视频教程哔哩哔哩??腾讯新闻网┍20：08分，再次回到applestore，可以下单了，却一直卡在付款界面！下单完成后，显示8个工作日发货。有网友晒单，最早的可9月22日到店取货。et4smi-hovdhduikevq-intelgaudi2加速器为何能在ai算力上如此彪悍
ai大模型的推理训练，最渴求的就是强劲的算力，可以来自cpu通用处理器，可以来自gpu加速器，可以来自ml/dl加速器，也可以是多种异构硬件的组合。
当下最火的当然是nvidiagpu加速器，但一花独放不是春，能够提供强劲算力硬件方案的厂商很多。
纵观整个ai江湖，唯一拥有全套方案、可真正替代nvidia的，只能是intel：至强处理器、gpumax、gaudi加速器多管齐下，再加上强大丰富的开发工具、开放生态的开发平台，要啥有啥，表现还相当不赖。
今年6月，机器学习与人工智能开放产业联盟mlcommons公布了ai性能基准测试mlperftraining3.0的结果。
结果显示，intel四代至强内置的各种加速器，使其成为在通用cpu处理器上运行大量ai工作负载的理想方案，gaudi2加速器则在生成式ai、llm大语言模型方面有着优秀的性能。
此外，intel还提供了经过优化的、易于编程的开放软件，降低ai部署门槛。
8月份，mlcommons又公布了针对60亿参数大语言模型、计算机视觉与自然语言处理模型gpt-j的mlperf3.1基准测试结果，intel的表现依然值得称道。
其中在gpt-j模型上，gaudi2加速器的gpt-j-99、gpt-j-99.9服务器查询和离线样本的推理性能分别为78.58次/秒、84.08次/秒。
与竞品比较，gaudi2相对于nvidia上一代a100的性能优势可达2.4倍（服务器）、2倍（离线），而最新一代的h100相对于gaudi2也只有1.09倍（服务器）、1.28倍（离线）的微弱优势。
同时，intel四代至强在视觉、语言处理、语音、音频翻译模型，以及更大的dlrmv2深度学习推荐模型、chatgpt-j模型上处理通用ai负载时，性能都非常出色。
比如使用gpt-j对大约1000-1500字新闻稿进行100字总结的任务，四代至强在离线模式下每秒完成两段，实时服务器模式下则可完成每秒一段。
此外，intel还首次提交了至强cpumax处理器的mlperf测试结果，其集成最多64gbhbm3高带宽内存，对于gpt-j而言是唯一能够达到99.9％准确度的cpu，非常适合精度要求极高的应用。
还有非常关键的一点：迄今为止，intel是唯一一个使用行业标准深度学习生态软件并公开提交cpu结果的厂商，gaudi2是仅有的两个向gpt-3大模型训练基准提交性能结果的9728太阳集团的解决方案之一。
那么，intelgaudi2加速器、至强处理器为何能在ai算力上如此彪悍？habanalabs中国区总经理于明扬做出了详细解读。
据介绍，mlperf3.1推理测试中，gaudi2和h100一样都采用了fp8精度，gpt-j测试结果非常令人满意，准确率高达99.9％，和h100的差距非常小。
这主要是因为gaudi2mme支持fp8、bf16精度加速，而且结构设计合理，可以高效提升推理能力。
同时，gaudi2也和h100一样使用了hbm高带宽内存，intel也很好地预测了市场，并预估了额外的需求，因此基本保证了供应和生产，可以满足市场需求，不像nvidia那么头疼产能。
至于a100，它并不支持fp8而仅支持fp16，所以gaudi2比之优势非常明显，这也显示了gaudi2架构和软件设计的领先性，以及资源利用率的高效性。
非常关键的是，intelgaudi2的性价比优势明显，不像a100、h100那样动不动几十万一块，让中小企业和个人开发者望洋兴叹。
intel也已经开放了开发者云，让不同客户可以访问不同的intelai硬件，大大降低ai工作成本。
除了硬件性能的比拼，intel也在软件生态上持续大力投入，虽然暂时还做不到nvidiacuda生态那样有着独一无二的优势，但也有自己的突出特点。
于明扬强调，在软件生态上，intel一直主张开放，比如通过开发者社区与开发者互动，提供优化后的模型、开源驱动和工具库，并支持pytorch、deepspeed等开源框架，加入和维护开放生态，为客户、9728太阳集团的合作伙伴和开发人员提供早期访问和便捷、迅速的途径。
inteloneapi也能提供更为开放的环境，支持不同层面的定制化开发，intel和客户都可以在软件中添加新的加速算子，并且upstreaming到框架开源社区中。
值得一提的是，在软件上cuda的影响已经大大缩小，对整体开发和应用环境更加有利。
事实上，nvidia目前的强大只是gpu一条腿走路，cpu通用处理器是欠缺的。
虽然nvidia也开发了gracecpu，并打造了所谓的"超级芯片"，可以将两颗gracecpu或一颗gracecpu加一颗h100gpu进行整合，但毕竟是基于arm架构，性能较弱，而且缺乏通用性。
intel则凭借多管齐下的多硬件组合，可以构建强大、灵活异构计算平台，从而支持更大的模型规模，满足更广泛的系统需求。
于明扬指出，至强可扩展处理器有着最好的通用性，可以运行各种ai工作负载。
四代至强还衍生出了的至强cpumax系列，是行业唯一一款具有hbm高带宽内存的x86处理器，无需更改代码，即可加速多种hpc、ai工作负载。
gaudi系列加速器则专注于机器学习、深度学习的环境，以及未来对大语言模型的需求。
当然还有数据中心gpumax系列，虽然才刚刚诞生，但是拥有47个功能模块、1000多亿晶体管的它，有着巨大的潜力和广阔的前景，在各种科学负载中相比h100可综合领先30％，还已经用于百亿亿次超级计算机"aurora"。
这样的丰富组合，别说nvidia，在整个行业内都没有可与之匹配的。
面向未来，intel也自信满满地公布了gaudi加速器、至强处理器的多年路线图，让人充满期待。
gaudi3将把制造工艺从7nm升级到5nm，带来的性能提升堪称一次飞跃：
bf16算力提升4倍，计算性能提升2倍，网络带宽提升1.5倍，hbm高带宽内存容量提升1.5倍。
从示意图上看，gaudi3的主芯片将从单颗升级为两颗整合，hbm内存则从6颗增加到8颗。
再往后更是革命性的变化：falconshores将是intel第一次把x86cpu、xegpu双架构融合在一起，官方称之为xpu，类似amdinstinctmi300a。
按照intel之前给出的数字，对比当今水平，falconshores的能耗比提升超过5倍，x86计算密度提升超过5倍，内存容量与密度提升超过5倍。
emeraldrapids五代至强将在12月14日正式发布，这是至强历史上第一次一年内更新两代，增加到最多64核心128线程，同样功耗水平下可提供更高的性能和存储速度。
2024年上半年，至强将首次采用e核能效核设计，代号sierraforest，最多达到惊人的288核心288线程，而且首次引入intel3制造工艺，预计可使机架密度提升2.5倍、每瓦性能(能效)提高2.4倍。
紧随其后的是同样intel3工艺、全部p核性能核设计的graniterapids，ai性能对比四代至强预计可提高2-3倍。
2025年，我们将看到代号clearwaterforest的再下一代至强，纯能效核设计，升级为intel18a制造工艺。
按照规划，那个时候，intel将重新夺回制程工艺的领先地位，对于提高ai硬件的能效大有裨益。
总之，未来在ai计算领域，intel将会提供更加强大、可满足不同应用场景和tco成本的ai产品组合，为客户打造统一的开发平台，形成完整的产品生态链。
据(ju)印(yin)度(du)媒(mei)体(ti)报(bao)道(dao)(，)当(dang)地(di)时(shi)间(jian)(9)月(yue)(2)(1)日(ri)(，)印(yin)度(du)外(wai)交(jiao)部(bu)发(fa)言(yan)人(ren)在(zai)新(xin)闻(wen)发(fa)布(bu)会(hui)上(shang)表(biao)示(shi)(，)由(you)于(yu)印(yin)度(du)驻(zhu)加(jia)拿(na)大(da)领(ling)事(shi)馆(guan)工(gong)作(zuo)人(ren)员(yuan)面(mian)临(lin)安(an)全(quan)威(wei)胁(xie)(，)印(yin)度(du)从(cong)(2)(1)日(ri)起(qi)暂(zan)停(ting)对(dui)加(jia)拿(na)大(da)公(gong)民(min)的(de)签(qian)证(zheng)服(fu)务(wu)(。)(（)总(zong)台(tai)记(ji)者(zhe)姚(yao)瑞(rui)昕(xin)(）)