RealFeedApp beta
- Claude сгенерировал компилятор из ассемблера в Llama
Трансформеры могут реализовывать любой алгоритм, так как MLP обеспечивают вычисления, а внимание — запись в память. Автор создал компилятор, который генерирует веса модели Llama для выполнения программ без обучения.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи показали, что языковые модели (трансформеры) являются Тьюринг-полными, то есть способны выполнять любой вычислимый алгоритм, так как у них есть механизм для произвольных вычислений и записываемой памяти.
- Зачем это
- Это доказано путем создания компилятора, который напрямую генерирует веса модели для выполнения программ без обучения, что позволяет использовать контекст модели как хранилище данных.
#turing-complete#transformer#llm#compiler#memory
