Wie eine KI funktioniert: ChatGPT erklärt es mir

Wie ist es möglich, dass eine KI wie ChatGPT Gespräche führen und Texte schreiben kann  (fast) wie ein Mensch? Das wollte ich genauer wissen!

Zunächst hab‘ ich mir ein Video von Prof. Dr. Rieck zur dahinter stehenden Technik angesehen, der zu diesem Zweck den Experten Cedric Mössner befragt. Ich fand die Erläuterungen mittels Grafiken am Bildschirm nicht gerade leicht verständlich. Also befragte ich ChatGPT selbst. Die zwischenmenschliche Scheu, durch allzu blöde Fragen unangenehm aufzufallen, spielt hier zum Glück keine Rolle! Im ersten Teil des Interviews geht es um die Grundlagen: Neuronale Netze, Neuronen, Schichten, Gewichtungen. Wer darauf keine Lust hat, springt gleich zum praktischen Teil 2 mit dem Beispielsatz: Er steht im Tor und langweilt sich.

 

Lost geht’s:

Du bist ein Lehrer am Gymnasium. Bitte erkläre deinen Schülern, was ein neuronales Netz ist und wie es funktioniert. Gehe darauf ein, was der wesentliche Unterschied zu anderen Formen der Datenabfragen ist.

Ein neuronales Netzwerk ist ein computerbasiertes System, das dazu verwendet wird, Muster in Daten zu erkennen und zu analysieren. Es wird auch als künstliches neuronales Netzwerk bezeichnet, weil es auf dem Konzept von biologischen neuronalen Netzwerken im Gehirn basiert.

Das neuronale Netzwerk besteht aus einer Gruppe von miteinander verbundenen künstlichen Neuronen, die in Schichten angeordnet sind. Jede Schicht nimmt Eingangsdaten auf und führt darauf eine bestimmte Art von Verarbeitung aus, bevor sie die Ergebnisse an die nächste Schicht weitergibt. Dies ermöglicht es dem Netzwerk, komplexe Aufgaben zu erledigen, indem es Informationen in einer hierarchischen Art und Weise verarbeitet.

Im Gegensatz zu herkömmlichen Programmen, bei denen die Regeln und Verarbeitungsschritte vom Programmierer festgelegt werden, lernt ein neuronales Netzwerk durch Beispiele. Es wird mit einer großen Menge von Trainingsdaten trainiert, die aus Eingangsdaten und den erwarteten Ausgaben bestehen. Das Netzwerk passt dann seine Verbindungsgewichte zwischen den Neuronen an, um die bestmögliche Vorhersage für die gegebenen Eingangsdaten zu liefern.

Ein wesentlicher Unterschied zu anderen Formen der Datenabfragen ist, dass neuronale Netze in der Lage sind, Muster in Daten zu erkennen, ohne dass diese explizit programmiert werden müssen. Sie können komplexe Beziehungen zwischen den Eingangsdaten selbstständig erlernen und dann auf neue Daten anwenden, die sie noch nie zuvor gesehen haben.

Insgesamt sind neuronale Netze eine leistungsstarke Technologie, die in vielen Anwendungsbereichen eingesetzt werden kann, wie z.B. in der Bild- und Spracherkennung, der Prozesssteuerung und der Vorhersage von zukünftigen Ereignissen.

Frage: Was sind Neuronen bei einer KI?

In der KI werden künstliche Neuronen als grundlegende Bausteine von neuronalen Netzen verwendet. Ein künstliches Neuron besteht aus mehreren Eingangsverbindungen, einer Aktivierungsfunktion und einer Ausgangsverbindung.

Die Eingangsverbindungen empfangen Signale von anderen Neuronen oder von der Umgebung und geben sie an die Aktivierungsfunktion weiter. Die Aktivierungsfunktion entscheidet dann, ob das Neuron aktiviert wird und gibt ein Signal an die Ausgangsverbindung weiter, wenn die Aktivierungsschwelle überschritten wird.

Die Ausgangsverbindung eines künstlichen Neurons leitet das Signal an andere Neuronen oder an die Ausgabe des neuronalen Netzes weiter. Jedes künstliche Neuron ist mit anderen künstlichen Neuronen verbunden, um ein neuronales Netzwerk zu bilden.

Wie biologische Neuronen können künstliche Neuronen miteinander interagieren, um komplexe Aufgaben zu lösen. Durch die Verarbeitung von großen Mengen von Trainingsdaten kann ein neuronales Netzwerk lernen, Muster in Daten zu erkennen und präzise Vorhersagen zu treffen.

In der KI-Sprache ist das künstliche neuronale Netzwerk daher ein System, das aus vielen miteinander verbundenen künstlichen Neuronen besteht, das auf Basis von Trainingsdaten in der Lage ist, Muster in Daten zu erkennen und daraufhin Vorhersagen oder Entscheidungen zu treffen.

Ist ein Neuron also dasselbe wie ein Objekt in der Objektorientierten Programmierung (z.B. C++)?

Nein, ein Neuron in der KI und ein Objekt in der objektorientierten Programmierung sind unterschiedliche Konzepte.

Ein Neuron in der KI ist ein mathematisches Modell, das von biologischen Neuronen inspiriert wurde und in künstlichen neuronalen Netzwerken verwendet wird, um Daten zu verarbeiten und zu lernen.

Ein Objekt in der objektorientierten Programmierung ist eine Instanz einer Klasse und besteht aus Daten und Methoden, die auf diese Daten zugreifen. Objekte werden in der Programmierung verwendet, um komplexe Systeme zu modellieren und zu organisieren.

Obwohl es gewisse Ähnlichkeiten zwischen den beiden Konzepten gibt, sind sie nicht dasselbe. Ein künstliches Neuron wird normalerweise als Teil eines größeren neuronalen Netzwerks verwendet, um spezifische Aufgaben zu lösen, während ein Objekt in der Programmierung dazu verwendet wird, Code zu organisieren und zu strukturieren.

Besteht ein Neuron nicht auch aus Code?

Ein Neuron in der KI besteht nicht direkt aus Code, sondern ist ein mathematisches Modell, das in Code implementiert wird. In der KI werden künstliche neuronale Netze durch Programmiersprachen wie Python oder Java implementiert, indem man Code schreibt, der das Verhalten von künstlichen Neuronen und die Interaktion zwischen ihnen beschreibt.

Der Code in einem neuronalen Netzwerk beschreibt, wie die Eingangsdaten verarbeitet und interpretiert werden und wie das Netzwerk auf diese Daten reagieren soll. Der Code dient also dazu, das Verhalten des neuronalen Netzes zu definieren und zu steuern.

Zusammenfassend besteht ein Neuron in der KI nicht direkt aus Code, sondern ist ein mathematisches Konzept, das in Code implementiert wird, um die Funktionalität des neuronalen Netzes zu steuern.

Ist das in den Code implementierte „mathematische Modell“ bei allen Neuronen eines neuronalen Netzwerks dasselbe?

Grundsätzlich ist das mathematische Modell, das die Funktionsweise eines künstlichen Neurons beschreibt, bei allen Neuronen in einem neuronalen Netzwerk ähnlich oder identisch. Es gibt jedoch mehrere Parameter und Einstellungen, die bei jedem Neuron individuell sein können.

Zum Beispiel kann die Gewichtung der Eingangsverbindungen bei jedem Neuron unterschiedlich sein, was bedeutet, dass jedes Neuron unterschiedlich auf die gleichen Eingangsdaten reagieren kann. Die Aktivierungsfunktion kann auch von Neuron zu Neuron unterschiedlich sein.

Darüber hinaus können die Verbindungen zwischen den Neuronen, die das neuronale Netzwerk bilden, unterschiedlich gewichtet sein. Diese Gewichte werden normalerweise während des Trainingsprozesses des neuronalen Netzwerks angepasst, um die Genauigkeit des Netzes zu verbessern.

Zusammenfassend ist das mathematische Modell, das die Funktionsweise eines künstlichen Neurons beschreibt, bei allen Neuronen in einem neuronalen Netzwerk ähnlich oder identisch, aber es gibt individuelle Einstellungen und Parameter, die von Neuron zu Neuron unterschiedlich sein können und durch das Training des neuronalen Netzwerks optimiert werden.

Kannst du ein Beispiel sagen, das diese „Gewichte“ erläutert?

Ja, gerne! In einem neuronalen Netzwerk werden Eingangsdaten durch eine Reihe von Neuronen geleitet, die miteinander verbunden sind. Jede Verbindung zwischen zwei Neuronen hat eine Gewichtung, die angibt, wie stark das Signal von einem Neuron das Signal des anderen Neurons beeinflussen soll.

Die Gewichte werden normalerweise während des Trainingsprozesses des neuronalen Netzwerks angepasst. Während des Trainings werden dem Netzwerk Beispieldaten gezeigt und das Netzwerk passt die Gewichte an, um die Genauigkeit des Netzes bei der Vorhersage von Ergebnissen zu verbessern.

Ein Beispiel: Stellen wir uns ein künstliches neuronales Netzwerk vor, das lernen soll, Handgeschriebenes zu erkennen. Das Netzwerk besteht aus mehreren Schichten von Neuronen, die miteinander verbunden sind. Die ersten Schichten des Netzwerks sind Eingabeschichten, die Pixelwerte von Bildern akzeptieren. Jedes Pixel wird durch ein Eingangsneuron repräsentiert.

Die Gewichte zwischen den Eingangsneuronen und den Neuronen in der nächsten Schicht geben an, welche Pixel des Bildes am meisten zur Erkennung des Objekts beitragen. Während des Trainings werden die Gewichte angepasst, um die Genauigkeit des Netzes bei der Vorhersage von Ergebnissen zu verbessern.

Zum Beispiel könnte das Netzwerk lernen, dass bestimmte Pixelkombinationen ein Merkmal eines bestimmten Objekts darstellen und dass andere Pixelkombinationen weniger wichtig sind. Durch das Anpassen der Gewichte können bestimmte Merkmale des Objekts hervorgehoben und andere Merkmale unterdrückt werden, um die Erkennungsgenauigkeit des Netzes zu verbessern.

Die ersten Schichten eines neuronalen Netzes, das auf Sprache in Textform reagiert, erkennt also erst einmal keine Buchstaben, sondern nur Pixel auf dem Bildschirm? Und erst in höheren Schichten stabilisiert sich die Erkennung von Buchstaben? Und erst in weiteren Schichten erkennt das Netzwerk Wörter?

Mein vorheriges Beispiel mit den Eingangsneuronen, die Pixelwerte von Bildern akzeptieren, war spezifisch für die Bilderkennung. Bei der Spracherkennung in Textform verwendet man normalerweise eine andere Art von Eingangsneuronen, um die Spracheingabe zu verarbeiten.

In einem Spracherkennungsnetzwerk würden die Eingangsneuronen normalerweise Audio-Features wie Frequenzbänder, Schalldruckpegel, Mel-Frequenz-Cepstrum-Koeffizienten (MFCCs) oder andere Merkmale der Audioeingabe verarbeiten, anstatt Pixelwerte von Bildern.

Die höheren Schichten des neuronalen Netzes sind verantwortlich für die Klassifizierung der Spracheingabe. Die Schichten können so gestaltet sein, dass sie zunächst auf einfache Merkmale wie Phoneme oder Sprachlaute reagieren und dann zu höheren Merkmalen wie Wörtern und Sätzen fortschreiten.

In einem typischen Spracherkennungsnetzwerk könnten die niedrigeren Schichten darauf trainiert werden, Merkmale wie die unterschiedlichen Laute im Englischen oder die verschiedenen Akzente der Sprecher zu erkennen. Die höheren Schichten könnten darauf trainiert werden, diese Laute in Wörter zu segmentieren und dann diese Wörter in Sätze zu kombinieren, um den gesamten Text zu verstehen.

Also, die höheren Schichten des neuronalen Netzes sind in der Tat dafür verantwortlich, die Eingabe in höhere Abstraktionsebenen zu transformieren und eine endgültige Vorhersage zu treffen.

Aber eine KI wie ChatGPT reagiert auf Texteingaben, also Buchstaben. Audio ist hier nicht gefragt. Erkennst du in den ersten Schichten Buchstaben und höhere Schichten erkennen Wörter?

Ja, das stimmt. Für eine KI wie ChatGPT, die auf Texteingaben reagiert, wären die Eingangsneuronen speziell darauf trainiert, die Buchstaben oder Zeichen der Eingabe zu verarbeiten.

In den niedrigeren Schichten eines Textverarbeitungsnetzwerks würden die Neuronen darauf trainiert, einfache Merkmale wie Buchstabenerkennung und -segmentierung zu erkennen. Die höheren Schichten könnten dann darauf trainiert werden, diese Buchstaben in Wörter zu kombinieren und schließlich in Sätze und Kontext zu integrieren, um eine endgültige Vorhersage zu treffen.

Es ist jedoch wichtig zu beachten, dass die Struktur und Architektur eines neuronalen Netzes variieren kann und von verschiedenen Faktoren abhängt, wie dem Zweck der KI, der Art der Eingabe und der verfügbaren Daten.

Das Praxis-Beispiel: Er steht im Tor und langweilt sich

Nehmen wir ein Beispiel, um die Dinge klarer zu machen. Wie würde eine KI den Satz „Er steht im Tor, als ob er sich langweilt“ verstehen, wenn mit der Eingabe noch kein Kontext verbunden ist? Es ist ja nicht klar, ob es sich um ein Gartentor, das Tor einer Garage oder das Tor im Fußball handelt.

Wenn eine KI wie ChatGPT den Satz „Er steht im Tor, als ob er sich langweilt“ als Eingabe erhält, würde sie in den niedrigeren Schichten des neuronalen Netzes zunächst die Buchstaben und Wörter der Eingabe verarbeiten.

In den höheren Schichten würde die KI dann versuchen, den Kontext des Satzes zu verstehen, um zu entscheiden, welche Bedeutung des Wortes „Tor“ hier am wahrscheinlichsten ist. Dazu würde sie sich auf die Zusammenhänge innerhalb des Satzes selbst und möglicherweise auf den Kontext beziehen, in dem der Satz verwendet wird.

Wenn keine weiteren Informationen vorhanden sind, um den Kontext des Satzes zu bestimmen, könnte die KI alternative Bedeutungen des Wortes „Tor“ berücksichtigen und Wahrscheinlichkeiten für jede mögliche Bedeutung berechnen. Die KI könnte dann auf der Grundlage ihrer internen Bewertungen eine Vorhersage treffen oder eine Frage stellen, um Klarheit zu erhalten.

Zur Berechnung der Wahrscheinlichkeiten für die möglichen Bedeutungen: Was wären in dem Beispiel mit dem Tor die „Gewichtungen“?

Die Gewichtungen oder Parameter in einem neuronalen Netzwerk werden durch das Training der KI auf großen Datenmengen erzeugt. Sie bestimmen, wie stark das Signal von einem Neuron zu einem anderen übertragen wird, und beeinflussen somit die Aktivierungsmuster der Neuronen in verschiedenen Schichten des Netzes.

In dem Beispiel mit dem Tor würde das neuronale Netzwerk versuchen, aufgrund des Kontexts und der anderen Wörter im Satz die Bedeutung des Wortes „Tor“ zu verstehen. Dazu könnten in den höheren Schichten des Netzes verschiedene Neuronen aktiviert werden, die speziell auf die Bedeutungen von „Tor“ trainiert sind, wie zum Beispiel „Fußballtor“, „Garagentor“ oder „Gartentor“. Die Aktivierungswerte dieser Neuronen würden durch die Gewichtungen beeinflusst werden, die während des Trainings gelernt wurden.

Das Netzwerk würde dann basierend auf den Aktivierungsmustern der Neuronen und der Gewichtungen berechnen, welche Bedeutung des Wortes „Tor“ am wahrscheinlichsten ist. Es ist jedoch wichtig zu beachten, dass die Berechnung der Gewichtungen und die Vorhersagen der KI von vielen Faktoren abhängen, wie der Qualität der Trainingsdaten, der Komplexität des Netzes und der genauen Formulierung der Aufgabe.

Wenn also in den Trainingsdaten zum Thema „Tor“ doppelt so viele Inhalte bzw. Informationen zu „Fußballtor“ gegeben waren wie für Gartentor und Garagentor, dann wäre auch die „Gewichtung“ in Richtung Fußballtor entsprechend größer? Oder sagt man da „schwerer“?

Genau, die Gewichtungen in einem neuronalen Netzwerk hängen davon ab, wie oft bestimmte Beispiele in den Trainingsdaten vorkommen und wie wichtig sie für die Aufgabe sind, die die KI lösen soll. Wenn in den Trainingsdaten doppelt so viele Beispiele für „Fußballtor“ vorhanden sind wie für „Gartentor“ oder „Garagentor“, dann werden die Gewichtungen in Richtung „Fußballtor“ stärker sein. Man sagt auch, dass „Fußballtor“ in diesem Fall ein höheres Gewicht hat oder schwerer gewichtet wird als „Gartentor“ oder „Garagentor“. Dies bedeutet jedoch nicht zwangsläufig, dass die KI immer die Bedeutung „Fußballtor“ bevorzugt, sondern sie berücksichtigt auch andere Faktoren wie den Kontext und die anderen Wörter im Satz, um eine Vorhersage zu treffen.

Wenn also zunächst das „Fußballtor“ eine höhere Gewichtung hätte als z.B. Gartentor, dann würde die KI noch prüfen, wie oft „langweilt sich“ in Zusammenhang mit „Fußballtor“, „Gartentor“ und „Garagentor“ in den Trainingsdaten vorgekommen ist. Stimmt das so?

Genau, die Gewichtungen im neuronalen Netzwerk beruhen auf der Häufigkeit bestimmter Beispiele in den Trainingsdaten. In einem konkreten Beispiel würde die KI also nicht nur die Gewichtung von „Fußballtor“ und „Gartentor“ berücksichtigen, sondern auch die Häufigkeit von „langweilt sich“ in Verbindung mit diesen Begriffen und anderen Faktoren wie Kontext und Satzstruktur. Wenn beispielsweise in den Trainingsdaten häufiger Sätze wie „Der Torwart steht im Fußballtor und langweilt sich“ vorkommen als Sätze wie „Er steht vor dem Gartentor und langweilt sich“, dann würde die KI eine höhere Wahrscheinlichkeit für die Bedeutung „Fußballtor“ vorhersagen. Es ist jedoch wichtig zu betonen, dass die KI immer nur Wahrscheinlichkeiten berechnet und keine absoluten Wahrheiten liefert.

***

FAZIT: Wahrheit ist nicht im Angebot!

Ich habe das Gespräch extra so ausführlich gestaltet, damit ganz klar wird, wie die Aussagen der KI zustande kommen. Wer das weiß, wird im Umgang mit ihr immer im Hinterkopf behalten, dass jede Behauptung der KI nur die „wahrscheinlichste“ in Bezug auf die ihr zur Verfügung stehenden Daten und den sich daraus ergebenden „Gewichtungen“ ist.

Das Gespräch zeigt auch, dass trotz meiner Bemühungen, sehr konkrete Fragen zu stellen, die KI eine Frage zunächst „anders gewichten“ kann als ich sie gemeint hatte. So geschehen bei der ersten Nachfrage nach Spracherkennung „in Textform“, die ChatGPT mit Beispielen aus dem Audio-Bereich beantwortet hat. Erst auf die konkretere Nachfrage („Buchstaben“) wurden die Antworten passender.

Gleichwohl ist eine gute KI eine riesige Hilfe! Hätte ich mir das hier vermittelte Wissen mit Hilfe weiterer Videos und vieler Artikel erst zusammen recherchieren müssen, hätte ich sehr viel mehr Zeit gebraucht. Die Möglichkeit, genaue Nachfragen zu stellen und diese, wenn nötig, zu konkretisieren, führt zu sehr viel schnellerem und punktgenauem Lernen. Gegenüber der klassischen Recherche ist das ein Quantensprung, gleichzeitig wächst aber auch die Bedeutung verlässlicher Institutionen, Medien und Personen, die zum Nachprüfen der „Wahrheit“ behaupteter Fakten weiterhin gefragt sind.

Ob und bezüglich welcher Fakten ein solcher Gegencheck nötig ist, hängt wiederum vom Bildungsgrad und der Kompetenz der fragenden Person ab!

***

Übrigens: Dass wir insbesondere Bildern nicht mehr trauen können, die in den sozialen Medien herum gereicht werden, sollten ebenfalls alle auf dem Schirm haben! Das ist zwar nicht neu, denn Fake-Fotos können auch mit klassischen Methoden erzeugt werden. Mit Text-zu-Bild und Text-zu-Video-KIs wird es allerdings einfacher und „massentauglicher“.