RealFeedApp beta
Как устроены нейросети
Как устроены нейросети изнутри: интерпретируемость, теория обучения и пределы возможностей моделей.
- Dzmitry Bahdanau создал механизм внимания в 2014 году
Dzmitry Bahdanau из Montreal университета разработал механизм внимания в 2014 году, который стал фундаментом для современных языковых моделей и трансформеров.
- Атаки с бэкдорами скрывают произвольные вычисления в весах моделей
Авторы доказали, что использование цифровых сейфов для хранения зашифрованных вычислений внутри весов модели делает их практически невозможными для обнаружения стандартными методами.
- ALHR сократила чтение ключей до 30 на запрос
Метод ALHR использует иерархическое маршрутирование для снижения нагрузки на память видеокарты с 57 до 422 МБ, сохраняя 92,1% точности на 1024 токенах.
- Пять исходов измерения нарушают классическую границу
Исследование показывает, что предсказания квантового байесовского вывода становятся несовместимыми с классическими объяснениями уже при измерении с пятью исходами, в то время как четыре исхода допускают классическую реализацию.
- Анализ категорий объясняет, как LLMs работают со пространством миров W
Исследование предлагает категориальный анализ того, как большие языковые модели преобразуют контент в утверждения, и утверждает, что они обходят проблему символического заземления, а не решают её.
