RealFeedApp Пайплайн GLM-5.5 обучается на 1 триллионе страниц
Главный научный сотрудник Z.ai Чжан Цзянь раскрыл, что модель GLM 5.5 использует внутренние движки для сбора 1 триллиона страниц, 2 миллиардов научных PDF и 50 миллионов книг.
- Область
- обучение языковых моделей
- Что сделали
- Команда Z.ai представила пайплайн обучения для моделей GLM 5.5, который использует внутренние базы данных вместо публичных датасетов, включая 1 триллион веб-страниц, 2 миллиарда научных PDF и 500 миллионов репозиториев кода.
- Зачем это
- Это позволяет моделям получать доступ к актуальной информации и специфическим данным, которые отсутствуют в открытых источниках, что должно повысить точность знаний и понимание контекста.
#glm#llm#pretraining#z.ai#tsinghua
