Memorilla lernt LLMs mit vier Anforderungen zu trainieren
Das System distilliert aus der gesamten Sammlung nur die für jede Frage relevanten Informationen in wenigen Tokens. Dies löst das Problem, dass festgetrainierte Modelle schnell veralten.
- Bereich
- Anwendung von Sprachmodellen
- Was gemacht wurde
- Das System Memorilla lernt, die gesamte Wissenssammlung zu analysieren, um für jede Frage nur die wenigen relevanten Informationen in Speichertokens zu extrahieren. Dies löst das Problem, dass fest trainierte Sprachmodelle Informationen aus ihrem Kontextfenster verlieren, wenn sich die Welt verändert.
- Warum es wichtig ist
- Die Methode ermöglicht es, dass Modelle auf langfristige Benutzerpräferenzen zugreifen können, ohne dass sie bei jedem neuen Ereignis neu trainiert werden müssen.
#llm#memory#retrieval#context window



