RealFeedApp LLM сломали 32–51 файлов при модернизации
Исследование показало, что пять LLM при модернизации 100 файлов WordPress с PHP 4.0 на 8.3 сломали 32–51 рабочих файлов, тогда как инструмент Rector сломал только 7. Оставшиеся 83 файла без изменений прошли все проверки.
- Область
- применение языковых моделей
- Что сделали
- Исследователи проверили, насколько хорошо пять языковых моделей могут обновлять старые файлы PHP до версии 8.3, сохраняя их функциональность, используя скрытые тесты и инструмент Rector. Результаты показали, что большинство моделей ломают больше рабочего кода, чем исправляют ошибки, в то время как исходные файлы часто уже проходили все проверки.
- Зачем это
- Это исследование помогает разработчикам понять риски использования ИИ для модернизации устаревшего кода без контекста проекта, показывая, что автоматические инструменты вроде Rector в таких случаях работают надежнее.
#llm#php#legacy code#software engineering#modernization
