Die Sehnsucht nach einem lokalen LLM ...

Ich wollte verschiedene Anwendungsmöglichkeiten finden, indem ich auf einem GB10-Chip mit 128 GB Unified Memory lokale LLMs in einer Größenordnung laufen ließ, die ich mir nicht hätte vorstellen können. Doch danach nahm die Geschichte eine etwas andere Wendung. Vor allem braucht man mehr Wissen, als man vielleicht denkt, wenn man den Anwendungsbereich erweitern möchte. Um diese Wissenslücke zu schließen, braucht man jedenfalls nicht sofort eine teure Maschine. Ungeduld hilft beim Lernen offenbar nicht weiter. Auch aus finanziellen Gründen habe ich die Maschine schließlich gebraucht verkauft, nachdem ich lediglich verschiedene verfügbare Modelle darauf ausprobiert hatte. (Kaum hatte ich sie verkauft, schossen die Preise wenig später in die Höhe ;) Bis heute bedaure ich sehr, dass ich sie ohne einen klaren Zweck gekauft hatte. Ich glaube, ich bin wieder auf den Gedanken hereingefallen: Wenn ich die Maschine erst einmal auf den Schreibtisch stelle, wird sich der notwendige Anwendungszweck schon irgendwie wie von Zauberhand ergeben, oder? Natürlich hat das Produkt an sich viele hervorragende Einsatzmöglichkeiten. Aber damit ein Kauf tatsächlich neue Entdeckungen anstößt, braucht man offenbar auch Hintergrundwissen und zumindest ein gewisses Maß an Zielvorstellungen.