Inkling 2 Mini läuft auf 16 GB RAM
Das neue Inkling 2 Mini-Modell mit 26,4 Milliarden Parametern nutzt 52 bis 66 % weniger Arbeitsspeicher. Es ermöglicht Video-Restyling auf Macs und reduziert die Token-Verarbeitung in MCP-Chats um 83 bis 87 %.
- Bereich
- Anwendung von Sprachmodellen
- Was gemacht wurde
- Das Update stellt das Inkling 2 Mini-Modell vor, ein 26,4 Milliarden Parameter großes Modell, das auf 16 GB RAM läuft. Es macht die Bildgenerierung schneller und spart Speicher auf kleinen Grafikkarten, sodass Videos auf Macs neu gestylt werden können und Chats mit MCP-Tools weniger Daten verarbeiten.
- Warum es wichtig ist
- Die Nutzer profitieren von schnelleren Ladezeiten und weniger Speicherbedarf, was besonders auf älteren Hardware wie Apple Silicon oder GTX 16xx-Karten hilft.
#llm#inference#gpu#optimization#llama


