RealFeedApp beta

Исследование сравнивает MXFP8 и 6-битный MXFP6 для R&R

Исследование на архитектуре AMD MI350X показало, что 6-битный формат MXFP6 позволяет достигать высокой скорости вычислений, сохраняя точность в пределах 0.01% нормализованной энтропии, что критично для промышленных систем рекомендаций и ранжирования.

Область
обучение языковых моделей
Что сделали
Исследователи оценили скорость работы моделей для рекомендаций и ранжирования (R&R) на архитектуре AMD MI350X, используя новые форматы квантования MXFP8 и MXFP6. Они обнаружили, что эти форматы позволяют значительно ускорять вычисления, сохраняя при этом точность, необходимую для строгих требований к качеству моделей.
Зачем это
Это важно для цифровой рекламы, где модели должны выдавать результаты с точностью, не уступающей стандартным форматам (FP16/FP32), но при этом работать быстрее благодаря оптимизации аппаратного обеспечения.
#quantization#mxfp6#r&r models#amd mi350x#inference

Читать оригинал →