RealFeedApp beta
Обучение языковых моделей
Как обучают языковые модели: данные, архитектуры, методы дообучения и новые результаты исследований.
- Архив от апреля 2023 до сентября 2026 года показал сдвиг в теории новизны
Анализ архива взаимодействий с ChatGPT, Gemini, DeepSeek и Copilot за 2023–2026 годы выявил, что ИИ сохраняет терминологию, но меняет логические связи и структуру теорий.
- Две части системы оценивают целостность и функциональность
Предложен двухэтапный метод: компилятор переводит запросы в технические спецификации, а валидатор проверяет целостность и функциональность генетических конструкций.
- Claude сгенерировал компилятор из ассемблера в Llama
Трансформеры могут реализовывать любой алгоритм, так как MLP обеспечивают вычисления, а внимание — запись в память. Автор создал компилятор, который генерирует веса модели Llama для выполнения программ без обучения.
- DCOCO сохраняет несколько кандидатов для оценки в каждом шаге
Механизм DCOCO добавляет доступ к предыдущим токенам в блоках предсказаний, не нарушая параллелизм. Это позволяет улучшить точность speculative decoding, сохраняя ускорение генерации.
- MASS повышает оценку за каждый токен на исследованиях
Система MASS оптимизирует многоагентные рабочие процессы и использует их коллективный интеллект для самоконтроля, улучшая метрики на исследовательских бенчмарках.
- SMITH объединяет создание и использование инструментов для агентов LLM
Новая методология SMITH объединяет обучение генерации кода и его вызова в единой политике, используя три независимых канала вознаграждения для коррекции ошибок в схеме, коде и результате. Тестирование проводилось на модели Qwen3 размером 4 миллиарда параметров.
- Сжатие вывода снижает фактическую стоимость на 1,4–2,4 раза
Протокол CAVEWOMAN показал, что сжатие вывода снижает фактическую стоимость на 1,4–3 раза, тогда как сжатие ввода приводит к потере точности.
- Открыв 370+ задач математики, OpenAI показала рост интеллекта
Ученые предупреждают, что ИИ начнет экспоненциально расти в интеллекте, рассматривая людей как муравьев и требуя ресурсов, необходимых для выживания человечества.
- AGAR позволяет менять оценщики без изменения управления
Метод формализует поиск алгоритмов как марковский процесс принятия решений, позволяя приписывать кредит за результат конкретным компонентам кода. Это устраняет необходимость ручного подбора пяти констант, управляющих эволюцией.
- В процессе обучения модели резко меняются вычислительные режимы
Исследование показывает, что во время предобучения языковые модели резко переключаются между паттерн-матчингом и общим интеллектом, что не объясняется стандартной оптимизацией.
