RealFeedApp beta
- DCOCO сохраняет несколько кандидатов для оценки в каждом шаге
Механизм DCOCO добавляет доступ к предыдущим токенам в блоках предсказаний, не нарушая параллелизм. Это позволяет улучшить точность speculative decoding, сохраняя ускорение генерации.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи создали механизм DCOCO, который позволяет восстанавливать зависимости между токенами внутри блока предсказаний, не теряя при этом преимущества параллельной генерации.
- Зачем это
- Это решение ускоряет работу больших языковых моделей, позволяя проверять несколько токенов одновременно, а не по одному, что снижает вычислительные затраты.
#speculative decoding#llm#dcoco#parallel drafting#drafters
