Markt + Trends | KI und Data Science | iX

KI-Tuner lässt kleine Sprachmodelle an die großen heranrücken

Die von Google AI entwickelte Methode Flan verbessert das KI-Modell T5, sodass es an den 51 Milliarden Parameter größeren Konterpart PaLM 62B heranrückt.

Google AI hat mit Flan-T5 ein KI-Sprachmodell frei veröffentlicht, das sich für über 1800 verschiedene Aufgaben zum Verarbeiten und Generieren von Sprache eignen soll. Flan steht für Finetuning language models und ist eine Methode, mit der das Google-Team seine T5- und PaLM-Modelle für den Umgang mit unbekannten Objektklassen (Zero-Shot Learning) oder mit nur wenigen gelabelten Beispielen (Few-Shot Learning) verbessert.

Flan-T5 gibt es in fünf Größen von 80 Millionen (Small) bis 11 Milliarden Parametern (XXL). Es beruht auf dem T5-Modell (Text-to-Text Transfer Transformer) und seine Testergebnisse sollen zur 62 Milliarden Parameter großen Version von PaLM (Pathways Language Model) konkurrenzfähig sein.