Nvidia снова лидирует в тестах MLPerf: Генеративный ИИ на высоте

Графические процессоры Nvidia снова показали лучшие результаты в одном из самых престижных тестов для измерения производительности ИИ-чипов — MLPerf. На этот раз основное внимание было уделено генеративным приложениям ИИ, таким как большие языковые модели (LLM), в частности Llama от Meta. В тестах системы, собранные компаниями, такими как SuperMicro, Hewlett Packard Enterprise и Lenovo, почти полностью заняли первые места в большинстве категорий.

Новые тестовые сценарии для генеративного ИИ

MLPerf обновил свои тесты, добавив несколько новых сценариев, особенно для работы с большими языковыми моделями. Один из новых тестов измеряет скорость генерации токенов на основе Llama 3.1, а другой — скорость обработки запросов чат-ботами на базе Llama 2. Также был добавлен тест для измерения скорости работы графовых нейронных сетей, которые активно используются в генеративном ИИ, например, для прогнозирования структуры белков.

Хотя конкуренция была ограниченной, AMD также показала хорошие результаты в двух тестах Llama 2. Однако в целом Nvidia продемонстрировала наибольшую мощность в тестах, особенно в закрытом дивизионе, где требования к настройке были самыми строгими.