ChatGPT: Wie gut kennt sich die KI bei Mac und iPhone aus?

Mit der Vorstellung von ChatGPT ist der Firma OpenAI ein echter Coup gelungen. Mit dem seit Kurzem kostenlos nutzbaren Tool erhält man eine beeindruckende künstliche Intelligenz, die Texte zu jedem Thema erstellen kann. ChatGTP muss nur eine Frage bzw. Aufgabe gestellt werden wie “Schreibe einen Essay zu Effi Briest” oder “Schreibe 1000 Wörter zu Garage Band” und ein erstklassiger Text zu Fontanes Roman oder Apples Anwendungsprogramm wird ausgespuckt. Sogar Programmcode kann das Tool ausgeben. Microsoft plant nun sogar, zehn Milliarden Dollar in die Entwicklerfirma zu investieren, die Integration des Chatbots in die Suchmaschine Bing und Office soll geplant sein. 

ChatGPT – Stilsichere und eloquente Texte

Viele Dozenten an Universitäten haben bereits bestätigt, dass ein mit ChatGPT erstellter Text sprachlich und inhaltlich so gelungen ist, dass er bei ihnen gute Noten erzielen würde. Vor allem in den Sozialwissenschaften sollen die vom Chatbot erstellen Texte oft nicht von denen echter Studenten oder Dozenten unterscheidbar sein. Das ist faszinierend und wird Bildungsinstitutionen wohl noch einiges Kopfzerbrechen bereiten. Die Texte werden von der dahinter steckenden Sprachmodell GPT 3.5 für jede Anfrage erstellt, was zu recht unterschiedlichen Ergebnissen führt – man erhält also nicht immer den gleichen Text. Stilistisch sind sie sich nach unserem Eindruck recht ähnlich, aber auf überraschend hohem Niveau – was sich in Zukunft noch steigern soll. Manch Journalist stellt sich da wohl die Frage: Könnte mich ChatGPT vielleicht ersetzten?

Zumindest bei etwas spezielleren Themen ist diese Gefahr aber gering. Geht es nämlich um Problemstellungen, die fachliche Kenntnisse erfordern, stößt man doch schnell auf Schwächen, die auf der Funktionsweise des Tools basieren und die seit Längerem bekannt sind. Damit wollen wir nicht die Leistung der Entwickler schmälern (für deren Einschätzung uns außerdem die wissenschaftlichen Grundlagen fehlen), aber doch auf einige deutliche Grenzen hinweisen, die bei der Nutzung in der Praxis sichtbar werden.

Woher hat ChatGPT seine Informationen?

Die Inhalte der Texte werden nämlich nicht von einer “höheren Intelligenz” erstellt, sondern durch ein statistisches Sprachmodell auf Basis eines riesigen Textkorpus. Diese Trainingsdaten basieren auf Büchern, Nutzer-Foren, Facebook und anderen sozialen Medien und ähnlichen Quellen. Die Wikipedia macht dabei gerade einmal 3 Prozent aus. Stellt man also ChatGPT eine Frage zu einem technischen Problem mit macOS, ähnelt das Ergebnis einer schnellen Recherche in Mac-Foren. Das sorgt aber für Probleme: In Foren finden sich oft missverständliche und veraltete Antworten. Meist ist die Antwort von ChatGPT zwar korrekt, aber manchmal auch falsch – und man weiß nie, ob die Antwort stimmt oder nicht. Bei einer Internetrecherche könnte man dagegen die verschiedenen Quellen bewerten, was hier entfällt. Kein Wunder, dass etwa die auf Nutzer-Support spezialisierte Seite Stackoverflow die Nutzung von ChatGPT verboten hat. Die Antworten von ChatGPT würden zwar korrekt aussehen, hätten aber so viele Fehler, dass die Reputation von Stackoverflow leiden würde.

Bei der Erstellung wissenschaftlichen Texten fällt ChatGTP doch recht schnell als eine Art Blender und Abschreiber auf. So kann ChatGPT etwa die für wissenschaftliche Arbeiten nötigen Quellenangaben konstruktionsbedingt nicht liefern. Fordert man Literaturangaben, greift das Tool zu einem Trick und denkt sich diese oft einfach aus. So liefert uns ChatGPT auf unseren Wunsch zwar einen Artikel zu Apple inklusive Literaturangaben – von den fünf Titeln können wir aber nur zwei in der realen Welt finden. Aber auch so genannten KI-Detektoren können einen per AI erstellen Text oft anhand bestimmter Merkmale erkennen.

Ist ChatGPT politisch korrekt?

Die AI hat außerdem eine politische Position, die wohl durch die Trainingsdaten bedingt ist. Laut einem Test mit dem Wahl-o-mat würde sie als Wähler vermutlich die Grünen wählen, sie ist also nicht unparteiisch. Sehr schön kann man diese Problematik bei einem komplizierteren Ratgeber-Thema wie pmset nachverfolgen. pmset ist ein Kommandozeilentool von macOS, mit dem man unter anderem einen Mac zeitgesteuert starten und herunterfahren lassen kann. Ein Thema, das durch Ventura relevant wurde.

Wie gut kennt sich ChatGPT bei Mac und iPhone aus?

Wie fehlerhaft sind aber nun die Tipps der AI? Wir geben dem Tool als Stichprobe eine Aufgabe: 

“Schreibe eine Anleitung für das tägliche zeitgesteuerte Hochfahren und Herunterfahren eines Macs mit dem Tool pmset”

Wir erhalten diesen Text (der sich bei jeder Anfrage ändert):

Ein recht gut verständlicher Text, der auf den ersten Blick wie eine gute Anleitung wirkt. Leider sind aber die Befehle falsch. Der Befehl sudo pmset repeat wake off führt zu einer Fehlermeldung. Gibt man außerdem die Befehle set repeat wake "08:00:00" und sudo pmset repeat shutdown "22:00:00" nacheinander ein, hebt der zweite Befehl der ersten auf. Hier fehlt eindeutig Hintergrundwissen.

Hier liegt das Problem in der Methode von ChatGPT, die auf einer Art Textrecherche basiert – und fehlender Prüfung. Bei einem Artikel von Macwelt.de werden dagegen die Tipps oder Ratgeber nicht nur vom Autor einfach vor der Veröffentlichung ausprobiert, sondern von einem zweiten Redakteur vor der Veröffentlichung überprüft. Nicht zuletzt wird ein solcher Artikel von Lesern der Macwelt gelesen – die ebenfalls auf Fehler hinweisen. Zudem nutzt die Betaversion keine aktuellen Daten, kann also keine Artikel zu aktuellen Themen liefen – Apples App Freeform ist der AI etwa unbekannt.

Wobei ChatGPT nützlich sein kann?

Trotz dieser Mängel ist das Tool aber nicht zu unterschätzen und die möglichen Einsatzmöglichkeiten noch kaum einzuschätzen. So würde es nicht überraschen, wenn manche Aufgaben bald auf das Tool ausgelagert würden, wie “Schreib doch mal was Witziges zum Weltknuddeltag am 21. Januar”.

Aber auch bei Lexikon-Artikeln liefert ChatGPT gute Ergebnisse (wenn man von den fehlerhaften Literaturangaben absieht).