2022年4月7日，全球权威AI基准评测MLPerf?公布最新AI推理（Inference）V2.0榜单，浪潮AI服务器以最高性能获得了数据中心（固定任务）的全部16项冠军。

MLPerf?由图灵奖得主大卫·帕特森（David Patterson）联合顶尖学术机构发起成立，是国际最权威的AI性能基准评测，每年组织AI推理和AI训练测试各两次，以对迅速增长的AI计算需求与性能进行及时的跟踪测评。MLPerf?比赛通常分为固定任务（Closed）和开放优化（Open）两类任务，开放优化能力着重考察参测厂商的AI技术创新力，固定任务则因更公平地考察参测厂商的硬件系统和软件优化的能力，成为更具参考价值的AI性能基准测试。

本次是2022年MLPerf?的首次AI推理性能评测，旨在考察在各类AI任务中，不同厂商计算系统的推理速度和能力。本次评测中，在竞争最激烈的数据中心（固定任务）赛道，共有926项成绩提交，数量较上次比试翻倍，竞争非常激烈。

浪潮AI服务器创推理性能新纪录

本次MLPerf?AI推理性能评测涵盖使用广泛的六大AI场景，包括图像分类、自然语言理解、语音识别、目标物体检测、医学影像分割、智能推荐，每个场景采用最主流的AI模型作为测试任务，分别为ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet、DLRM。MLPerf?测试要求模型推理精度达到99%以上，对于自然语言理解、医学影像分割和智能推荐3个任务则设置99%与99.9%两种精度要求，以考察当提升AI推理精度要求时对计算性能的影响。

为更加贴近实际应用情况，MLPerf?推理测试在数据中心赛道下设置了离线（Offline）与在线（Server）两种模式。离线模式代表任务所需所有数据都在本地可用，典型场景如大批量医疗影像样本存于本地等待统一识别。在线模式则反映了大部分的即时AI应用，其数据和请求以突发和间歇的方式在线送达，例如用户在浏览购物网站时智能推荐的推理请求。

浪潮AI服务器此次表现出色，以最高性能包揽了此次MLPerf?数据中心（固定任务）赛道的全部16项冠军。

关键词： 数据中心 自然语言理解 医学影像 最激烈的 迅速增长