Arm ha afirmado que sus procesadores AGI para centros de datos de IA duplican el rendimiento por rack del AMD EPYC 9755. Así lo indican los resultados de una simulación del funcionamiento de un rack de servidores que tiene en cuenta las características de los chips y el consumo energético de los servidores al ejecutar siete tipos de cargas de trabajo. La metodología de evaluación fue desarrollada por Arm con el apoyo de Fujitsu, Meta✴ y OpenAI.
Fuente de la imagen: Arm
La empresa Signal65 confirmó los resultados en un análisis independiente encargado por Arm. Sin embargo, esto no significa que este chip lidere el ámbito de los agentes de IA: se utilizó la metodología propia de Arm, por lo que las conclusiones solo son válidas para modelos de procesador, escenarios de carga y configuraciones de hardware concretos, según señaló Tom's Hardware.
La metodología de evaluación del rendimiento de la CPU propuesta por Arm se basa en el uso de cargas de trabajo representativas de los agentes de IA, mediciones reproducibles de las características del procesador y la verificación de los resultados al ejecutar tareas complejas. La metodología contempla identificar las herramientas y servicios que utiliza el agente, medir su rendimiento (la carga sobre la CPU) en condiciones controladas y comprobar si las mejoras introducidas contribuyen a completar con éxito la tarea encomendada al agente. Por ejemplo, al probar una base de datos se puede determinar con qué rapidez procesa el sistema las transacciones. Después, en una evaluación integral se analiza si la aceleración del acceso a la base de datos se traduce en una mejora real de la eficiencia del flujo de trabajo que depende de ella.
Dado que el agente puede elegir distintos comandos o seguir distintas rutas de ejecución en cada ejecución de la tarea, Arm propone reproducir las acciones registradas del agente para separar el rendimiento de la CPU de la influencia de estos factores.
Para evaluar el rendimiento del procesador, la metodología contempla siete cargas de trabajo: MySQL, NGINX, Milvus, SWE-bench replay, fastText, vLLM CPU overhead y Sandbench. Abarcan herramientas, flujos de trabajo de los agentes, razonamiento y planificación. Sandbench mide el coste de crear un entorno aislado para ejecutar las tareas del agente en los procesadores Arm AGI y AMD EPYC 9755.
Para las pruebas, Arm utilizó dos configuraciones del procesador AGI: un chip de 128 núcleos a 2,8 GHz con memoria DDR5-7200 (para Terminal-Bench 2 y SWE-bench) y un chip de 136 núcleos a 3,2 GHz con memoria DDR5-8000 (para los otros cinco escenarios de carga). Como equivalente de AMD se eligió el procesador EPYC 9755 de 128 núcleos, instalado en un sistema monoprocesador con memoria DDR5-6400. Ambas plataformas se probaron en los mismos escenarios, pero con entornos de software distintos.
A nivel de procesadores individuales, el Arm AGI superó al AMD EPYC 9755 en cinco de las siete pruebas. Fue un 9 % más rápido en Terminal-Bench, un 13 % en SWE-bench y un 97 % en fastText, pero quedó un 12 % por detrás en MySQL y un 5 % en Milvus en cuanto a rendimiento.
A nivel de rack, el rendimiento simulado de las soluciones de Arm fue de media 1,99 veces superior al de AMD, con ventaja en los siete escenarios de carga.
Según se informa, los especialistas de Signal65 siguieron a distancia el desarrollo de las pruebas de Arm y examinaron los registros originales, los archivos con los resultados, los scripts y los registros de configuración de los sistemas. Repitieron los cálculos con su propio código y reprodujeron los siete resultados con un margen de error de no más del 0,5 %. No obstante, Signal65 no realizó pruebas repetidas con su propio hardware en su laboratorio.