Модели Gemma 3 1B и 4B ошибаются по предсказаниям
Исследование на восьми наборах данных с моделями Gemma 3 1B и 4B показало, что после удаления признаков, связанных с артефактами формата, оставшиеся активации SAE вызывают более сильные сдвиги в логит-маржинах при вмешательстве.
#saes#llm#causal inference#alignment#gemma


