RealFeedApp Китайская модель Kimi K3 работает на 2000 токенах в секунду
Компания Cerebras разложила модель Kimi K3 с 3 триллионами параметров на несколько чипов WSE-3T, обеспечив работу на скорости 1000–2000 токенов в секунду.
- Область
- железо и чипы
- Что сделали
- Компания Cerebras показала, как запускать модели с триллионом параметров на своих чипах, разбивая их между несколькими пластинами для размещения весов в памяти.
- Зачем это
- Это позволяет обрабатывать запросы со скоростью 1000–2000 токенов в секунду, что необходимо для работы с очень большими языковыми моделями.
#cerebras#llm#trillion-parameter#wse-3t#inference
