RealFeedApp beta

Inkling 2 Mini работает на 16 ГБ оперативной памяти

Новая модель Inkling 2 Mini с 26,4 млрд параметров работает на 16 ГБ памяти, ускоряя рендеринг на 52–66% и снижая время генерации на 36,7 секунды по сравнению с предыдущей версией.

Область
применение языковых моделей
Что сделали
Компания Unsloth выпустила обновленную версию модели Inkling 2 Mini, которая потребляет меньше памяти и работает быстрее, а также исправил ошибки в работе с видео и PDF-документами.
Зачем это
Это позволяет генерировать изображения и редактировать видео на маломощных видеокартах (включая Mac с Apple Silicon) значительно быстрее и с меньшими затратами ресурсов.
#llm#inference#gpu#optimization#llama

Читать оригинал →