RealFeedApp Восемь моделей 8B–36B находят различия между дропаутом и гауссовым шумом
Исследователи проверили восемь моделей от 8B до 36B параметров и обнаружили, что они способны обнаруживать, локализовать и вербализировать различия между семантическими возмущениями, такими как dropout и гауссов шум.
- Область
- обучение языковых моделей
- Что сделали
- Исследователи показали, что языковые модели способны обнаруживать и указывать на места, где к их внутренним данным применялись шум или удаление части данных (dropout), даже если это меняло смысл текста.
- Зачем это
- Это позволяет лучше понять, как модели учатся различать информацию, и может помочь в создании более надежных систем, устойчивых к манипуляциям с данными.
#language models#dropout#noise#activations#robustness
