GPT4All kann jetzt deutsch

Über GPT4All habe ich schon hier berichtet. Es ist ein Offline-GPT mit OpenSource-Modellen und kann beliebig trainiert werden. 

Inzwischen ist die Version 2.5.0 herausgebracht. Vorteil: Sie ist schneller und braucht insgesamt weniger Speicher, Nachteil: die Modelle sind in einem neuen Format. Alte Modelle (auch die Trainierten) lassen sich nicht mehr weiterverwenden.

Es gibt einige Modelle nicht mehr zum Download, sondern wesentlich weniger. Dafür hat es das neue Mistral-Modell zum Standard geschafft. Dieses Modell kommt von Mistral AI und bietet schon in der "kleinen" Version 7B ähnliche Fähigkeiten wie größere Modelle wie LLama2 13B, benötigt aber dafür weniger Rechenaufwand, was die Integration in eigene Projekte einfach macht. Auch das Thema "Aufmerksamkeitsfenster" ist ein wesentlicher Punkt für das neue Modell. Wer mehr darüber lesen will, kann dies hier tun. 

Auch einer der Punkte ist, dass es unter der Apache 2 Lizenz steht und damit für kommerzielle und nicht kommerzielle Anwendungen genutzt werden kann. 

Mit dem Modell "EM German Mistral" steht auch eine Version bereit, die für deutsche Anwendungen genutzt werden kann. Bisherige Modelle hatten mit Deutsch so ihre Schwierigkeiten. 

Ich werde damit mal experimentieren.

GPT4All hat schon seit längerer Zeit eine eigene Python-Bibliothek, so dass nicht mehr die von OpenAI genutzt werden kann. Ich schaue mal, ob ich auch ein Binding mit SwiftUI hinbekomme.