RealFeedApp beta
- DCOCO evaluates multiple candidate tokens per position
The DCOCO mechanism adds access to previous tokens within draft blocks without breaking parallelism. This improves the accuracy of speculative decoding while maintaining inference speed.
- Field
- training language models
- What they did
- Исследователи создали механизм DCOCO, который позволяет восстанавливать зависимости между токенами внутри блока предсказаний, не теряя при этом преимущества параллельной генерации.
- Why it matters
- Это решение ускоряет работу больших языковых моделей, позволяя проверять несколько токенов одновременно, а не по одному, что снижает вычислительные затраты.
#speculative decoding#llm#dcoco#parallel drafting#drafters
