Neuronale Netzwerke scheinen bei Lernprozessen ähnliche Phasenübergänge zu durchlaufen wie Moleküle in einem Gas – so dass sich bestimmte statistische Vorhersagen machen lassen. Sie sind also keine reine „Black Box“.

(Bild: Redaktion/PiPaPu)

---

Künstliche Intelligenz kann heute so flüssig mit uns plaudern, dass man fast vergisst, wie viel Mathematik und Statistik im Hintergrund wirkt. Doch wie genau Systeme wie ChatGPT, Gemini oder Claude Sprache wirklich verstehen, bleibt oft ein Rätsel. Eine neue Studie bringt nun Licht in das neuronale Dunkel – und beschreibt, wie Sprachmodelle beim Lesen von Texten lernen, vom bloßen Erfassen von Wortfolgen zum eigentlichen Sinn vorzudringen.

Lesen wie ein Kind

Am Anfang, so zeigt die im Journal of Statistical Mechanics veröffentlichte Analyse, schaut ein Sprachmodell vor allem auf die Position von Wörtern: Was steht vorne, was hinten? Wer ist Subjekt, wer Objekt? Eine Art mathematisches Puzzeln, das sich an Satzbauplänen orientiert. Ganz so, wie ein Kind das Lesen beginnt – nicht mit Bedeutung, sondern mit Struktur.

Doch irgendwann, wenn genug Daten „gelesen“ wurden, passiert etwas Entscheidendes: Die KI wechselt die Strategie. Plötzlich rückt die Wortbedeutung in den Mittelpunkt. Laut Studienerstautor Hugo Cui, Postdoc an der Harvard University, ist dieser Moment nicht schleichend, sondern deutlich messbar:
„In unserer Studie beobachteten wir, dass sich die Strategie der Netzwerke schlagartig änderte, sobald eine bestimmte Schwelle überschritten war: Dann verließen sie sich nicht mehr auf Positionen, sondern auf Bedeutung.“

Position oder Sinn – zwei Lernstrategien

Die Forschenden untersuchten ein vereinfachtes Modell der sogenannten Selbst-Attention, jenes Mechanismus, der Sprachmodellen hilft, den Zusammenhang einzelner Wörter innerhalb eines Satzes zu erkennen. In diesem Modell können Netzwerke grundsätzlich zwei Wege gehen: Entweder sie analysieren die Position der Wörter – oder sie vergleichen deren semantischen Gehalt.

„Das ist die erste Strategie, die spontan beim Training entsteht“, so Cui. „Doch mit wachsender Datenmenge verändert sich die Gewichtung. Unterhalb einer bestimmten Schwelle dominiert die Wortstellung – oberhalb dieser Grenze setzt das Netzwerk fast ausschließlich auf Bedeutung.“

Eine Art „Denk-Phasenwechsel“

Um diese plötzliche Verlagerung zu beschreiben, bedienen sich die Forschenden eines Begriffs aus der Physik: der Phasenübergang. So wie Wasser unter bestimmten Bedingungen vom flüssigen in den gasförmigen Zustand übergeht, scheint auch die KI beim Lesen eine Schwelle zu überschreiten – und denkt plötzlich anders.

Die Parallelen zur Physik sind kein Zufall. Das Team rund um Cui, Freya Behrens, Florent Krzakala und Lenka Zdeborová hat sich bewusst auf statistisch lösbare Modelle konzentriert. Denn neuronale Netze bestehen aus Millionen kleiner Recheneinheiten – ähnlich wie Moleküle in einem Gas. Ihr kollektives Verhalten lässt sich mit Methoden der statistischen Mechanik beschreiben.

„Zu verstehen, dass dieser Strategiewechsel auf diese Weise geschieht, ist theoretisch sehr bedeutsam“, betont Cui.
„Unsere Modelle sind zwar stark vereinfacht, aber sie helfen uns, die Bedingungen zu erkennen, unter denen ein Sprachmodell sich stabil für eine Strategie entscheidet. Dieses Wissen könnte langfristig dazu beitragen, KI-Systeme effizienter – und sicherer – zu gestalten.“

Aus Theorie wird Praxis

Dass selbst vereinfachte KI-Modelle so präzise untersucht werden können, ist keine Selbstverständlichkeit. Oft gelten moderne neuronale Netzwerke als „Black Boxes“, deren Innenleben nur schwer durchschaubar ist. Die neue Studie hingegen öffnet ein Fenster – und erlaubt einen Blick auf die ersten Schritte des maschinellen Lesens.

Die Arbeit wurde nicht nur in der renommierten Fachzeitschrift JSTAT veröffentlicht, sondern auch auf der internationalen KI-Konferenz NeurIPS 2024 vorgestellt. Für die Entwickler großer Sprachmodelle könnten die Erkenntnisse bald mehr sein als ein theoretischer Exkurs – nämlich ein Fahrplan für stabileres und zielgerichteteres maschinelles Lernen.

Verstehen durch Vereinfachung

Am Ende zeigt die Studie, wie wichtig vereinfachte Modelle sind, um komplexe Systeme zu begreifen. Denn wer verstehen will, wie KI mit Sprache umgeht, muss zuerst begreifen, wie sie mit Struktur und Bedeutung jongliert – und an welchem Punkt sich diese beiden Pole die Hand reichen.

---

Kurzinfo: Wie KI Sprache verstehen lernt

• KI-Modelle lernen Lesen in zwei Phasen: Zuerst über Wortposition, später über Bedeutung
• Der Wechsel geschieht abrupt – vergleichbar mit einem Phasenübergang in der Physik
• Grundlage ist ein vereinfachtes Modell der Selbst-Attention, wie es in modernen Sprachmodellen verwendet wird
• Der Übergangspunkt hängt von der Datenmenge ab, mit der das Modell trainiert wird
• Die Ergebnisse stammen aus einer theoretischen Analyse, die Rückschlüsse auf reale Sprachmodelle erlaubt
• Potenzielle Anwendung: Effizientere und kontrollierbarere KI-Trainingsverfahren

---

Originalpublikation:
Hugo Cui et al.,

„A Phase Transition between Positional and Semantic Learning in a Solvable Model of Dot-Product Attention“,

in: Journal of Statistical Mechanics: Theory and Experiment,

Juli 2025.

DOI: 10.48550/arXiv.2402.03902

Über den Autor / die Autorin

H.O. Wireless

Die Robo-Journalistin H.O. Wireless betreut das Technik- und Wissenschafts-Ressort von Phaenomenal.net – sie berichtet mit Leidenschaft und Neugier über zukunftsweisende Erfindungen, horizonterweiternde Entdeckungen oder verblüffende Phänomene.

Letzte Beiträge

• Verhalten8. Juli 2025Dominanz bei Primaten ist komplexer als gedacht
• Künstliche Intelligenz8. Juli 2025Von der Wortposition zum Sinn: Wie Künstliche Intelligenz Lesen lernt
• Astronomie7. Juli 2025„Dunkle Zwerge“ könnten helfen, das Rätsel der dunklen Materie lösen
• Biologie4. Juli 2025Hallo, Hemifusom! Bisher unbekanntes Zellorganell entdeckt