Третья попытка достигла 30,05 секунд на узле RunPod
Исследователи достигли нового рекорда по скорости предобучения модели GPT-2 масштаба, сократив время с 45 минут до 29,90 секунды на арендованном узле из 8 GPU H100.
#llm#nanogpt#h100#pretraining#speedrun#runpod



