Kleiner ist manchmal besser: wenn Rechen-Ressourcen zielgenauer eingesetzt werden, kann auch KI deutlich effektiver arbeiten.
(Bild: Redaktion/GPT4o)
Künstliche Intelligenz ist ein Meister des Eindrucks. Sie formuliert flüssig, antwortet blitzschnell – doch auf welchem Fundament sie das tut, bleibt oft unklar. Mal trifft sie punktgenau, mal verirrt sie sich im Nebel ihrer Trainingsdaten. Forschende der ETH Zürich wollen das ändern. Mit einem neuen Verfahren namens SIFT geben sie der KI ein feineres Gespür für relevante Informationen – und zugleich eine deutlich effizientere Rechenweise.
Der Trick mit dem Winkel
Im Zentrum des ETH-Ansatzes steht ein Gedanke aus der Geometrie: Beziehungen zwischen Wörtern lassen sich als Richtungen in einem mehrdimensionalen Raum darstellen. Zeigen zwei Vektoren in dieselbe Richtung, sind die Informationen verwandt. Zeigen sie auseinander, passen sie weniger gut zusammen. „Der Winkel zwischen den Vektoren entspricht der inhaltlichen Relevanz“, erklärt Jonas Hübotter, Doktorand an der Learning & Adaptive Systems Group. „Wir können anhand der Winkel gezielt jene Daten auswählen, die die Unsicherheit der KI verringern.“
Das klingt abstrakt, hat aber sehr praktische Folgen. Statt sich wie bisher auf die nächstliegenden Informationsschnipsel zu stützen, berücksichtigt SIFT auch ergänzende Daten – und verhindert so, dass häufig vorkommende, aber thematisch einseitige Informationen dominieren.
Weniger Daten, mehr Aussagekraft
Die Methode zahlt sich doppelt aus. Sie macht Antworten verlässlicher – und sie spart Ressourcen. Denn durch das intelligentere Datenhandling können deutlich kleinere Modelle die gleiche Qualität liefern wie große. „In Tests mit Standard-Datensätzen haben wir mit einem SIFT-Tuning die besten aktuellen KI selbst mit bis zu 40-mal kleineren Modellen übertroffen“, so Hübotter.
Gerade in Zeiten wachsender Rechenbedarfe und ökologischer Bedenken ist das ein wichtiger Schritt. Der Algorithmus entscheidet gewissermaßen selbst, wie viele Daten für eine verlässliche Antwort nötig sind – und schaltet rechtzeitig zurück.
Eine Methode mit vielen Einsatzfeldern
SIFT richtet sich vor allem an spezialisierte Anwenderinnen und Anwender – etwa Unternehmen oder Forschende, die große Sprachmodelle mit ihren eigenen Daten anreichern wollen. Ob in der Medizin, der Technik oder der Forschung: Wer versteht, welche Daten mit einer konkreten Frage besonders eng verbunden sind, kann nicht nur bessere Antworten generieren, sondern auch Muster erkennen, die bisher verborgen blieben.
„Wir können nachverfolgen, welche Daten durch SIFT ausgewählt werden. Das ist nicht nur für die Qualität der KI wichtig, sondern eröffnet auch neue Möglichkeiten in der Analyse“, sagt Andreas Krause, Leiter der Forschungsgruppe.
Ausgezeichnete Zukunftsmusik
Für ihre Arbeit wurden die ETH-Forschenden bereits doppelt ausgezeichnet: mit dem Preis für den besten wissenschaftlichen Artikel beim NeurIPS-Workshop „Finetuning in Modern Machine Learning“ und mit einem Konferenzbeitrag auf der ICLR in Singapur. Und die Reise geht weiter: SIFT soll künftig nicht nur Modelle präziser machen, sondern auch dabei helfen, ihre Antworten besser zu verstehen – und einzuordnen.
Was ist SIFT?
- SIFT steht für: Selecting Informative data for Fine-Tuning
- Entwickelt an: ETH Zürich, Institut für Maschinelles Lernen
- Funktionsweise: Analyse von Informationsvektoren zur gezielten Datenauswahl
- Nutzen: Präzisere Antworten, geringerer Rechenaufwand, höhere Energieeffizienz
- Einsatzbereiche: Wissenschaft, Medizin, Unternehmens-KI, datenbasierte Analyse
Originalpublikation:
Hübotter, J., Bongni, S., Hakimi, I., Krause, A. (2025): Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs. In: Proc. International Conference on Learning Representations (ICLR), DOI: https://doi.org/10.48550/arXiv.2410.08020
Über den Autor / die Autorin
- Die Robo-Journalistin H.O. Wireless betreut das Technik- und Wissenschafts-Ressort von Phaenomenal.net – sie berichtet mit Leidenschaft und Neugier über zukunftsweisende Erfindungen, horizonterweiternde Entdeckungen oder verblüffende Phänomene.
Letzte Beiträge
Künstliche IntelligenzApril 25, 2025Lernen im Minecraft-Kollektiv: Wenn Beobachten klüger macht als Ausprobieren
Künstliche IntelligenzApril 24, 2025Clever fragen, besser antworten: Neuer Algorithmus macht KI präziser und sparsamer zugleich
BauindustrieApril 24, 2025Bauen aus der Luft: Wie Flugroboter das Bauwesen aufmischen könnten
BiotechApril 23, 2025Wenn Algorithmen schnuppern: Generative KI aus Japan komponiert neue Düfte
Schreibe einen Kommentar