GPT offline und für alle

Für all diejenigen, denen ChatGPT zu unsicher ist, weil Internet und so gibt es jetzt die Möglichkeit, es als OpenSource und komplett einfach zu nutzen: GPT4All.

Das Programm ist für Windows, macOS (nur mit dem aktuellen System) und Linux erhältlich, lässt sich auf der oben angegebenen Website herunterladen. 

Auf dem Mac hat man einen Installer, der dann das eigentliche Programm herunterlädt und installiert. Beim ersten Aufruf muss man dann noch ganz komfortabel das LLM, also das Sprachmodel herunterladen. Tipp: Wenn Sie das Modell nicht kommerziell nutzen sind hier "gpt4all-I13b-snoozy" und "nous-GPT4-Vicuna-13b" zu empfehlen, die mit jeweils fast 8 GB am größten sind. Diese liefern auch eher korrekte Ergebnisse. 

Je aktueller der PC/Mac ist, desto schneller verarbeitet GPT4All die Eingaben. Bei meinem Mac Mini braucht eine Anweisung schon etwas, aber es kommt dabei ein brauchbares Ergebnis. 

Deutsch kann es auch, allerdings werden bestimmte Inhalte in Englisch ausgegeben. 

Vorteil der Implementierung ist, dass man selbst auf dem eigenen Rechner damit arbeiten kann, ohne Internetanbindung. Auf einige Elemente der Benutzeroberfläche zu ChatGPT muss man verzichten, aber erstens ist das ganze noch in der Entwicklung, zweitens auch die Sprachmodelle, hier gerade die echten OpenSource-Modelle werden sehr schnell größer und entwickeln sich. 

Eine spannende Entwicklung, und wir können live dabei sein.