На протяжении многих лет развитие процессоров происходило в соответствии с логикой предсказания Гордона Э. Мура, согласно которому каждые пару лет производительность центральных процессоров удваивается, а их стоимость снижается вдвое. Однако то, что мы наблюдаем сейчас, все больше и больше напоминает "закон Хуанга", выдвинутый в 2018 году Дженсеном Хуангом. Согласно этому более свежему закону, графические процессоры будут развиваться гораздо быстрее, чем центральные процессоры. В то же время индустрия центральных процессоров достигнет своего предела, а чипы будут только дорожать, что приведет к необходимости пересмотра полупроводниковой индустрии и подходов к вычислениям.
Тенденцию к закону Хуанга недавно продемонстрировала компания NVIDIA в выступлении своего главного научного сотрудника Билла Дэлли.
Последние разработки команды Дэлли позволили добиться 1000-кратного увеличения производительности ИИ за последние 10 лет.
Такой уровень прогресса во многом был достигнут за счет поиска новых подходов к оптимизации способов выполнения вычислений компьютерами, облегчения представления чисел, используемых компьютерами для вычислений.
В частности, архитектура NVIDIA Hopper с движком Transformer Engine достигает своих высокопроизводительных показателей за счет динамического сочетания 8- и 16-разрядных вычислений с плавающей запятой и целочисленных вычислений.
Другой фактор - тщательно разработанные инструкции, которые "объясняют" графическому процессору, как достичь большей производительности при более высокой энергоэффективности.
Структурная разреженность, представленная в NVIDIA Ampere, повышает производительность ИИ за счет снижения веса моделей ИИ без потери их точности.
Дэлли с оптимизмом смотрит на дальнейшее развитие графических процессоров по закону Хуанга, считая, что его потенциал не будет исчерпан в ближайшие годы.
