RealFeedApp llama-sleep reduziert Modellwechselzeit auf 1,7 Sekunden
Das Tool parkt GPU-Speicher im Host-RAM, was den Wechselzeit von 10,3 auf 1,7 Sekunden senkt. Durch transparente riesige Seiten wird die Kopierzeit zwischen RAM und GPU minimiert.
- Bereich
- Anwendung von Sprachmodellen
- Was gemacht wurde
- Das Tool llama-sleep parkt das GPU-Speicher eines Sprachmodells im Host-RAM, um den Zeitverlust beim Wechsel zwischen Modellen zu vermeiden. Durch die Nutzung von transparenten riesigen Seiten im Kernel lässt sich der Wechselzeitraum von 10,3 auf 1,7 Sekunden reduzieren.
- Warum es wichtig ist
- Dies ermöglicht es, mehrere Modelle auf einer einzigen GPU schneller zu wechseln, ohne dass die zwischengespeicherten Prompts verloren gehen.
#llama.cpp#llm#llm-swap#llama-sleep#gpu#memory
