Modelltraining für Fortgeschrittene in Kubeflow
Um mit großen Modellen wie ChatGPT, Bard oder LLaMA umzugehen, bedarf es beim Einsatz mit Kubeflow-Pipelines einiger Kniffe. Wie das geht und wie Transferlernen, Feintuning und Retraining klappt, zeigt der dritte Teil des iX-Tutorials.
Für das Arbeiten mit großen Sprachmodellen wie ChatGPT, Bard oder LLaMA mit mehreren Milliarden an Parametern muss man den eigenen MLOps-Ansatz um fortgeschrittene Techniken erweitern. Zum Optimieren von Trainingszeiten und Modellgüte nutzen Data Scientists etwa Transferlernen und Feintuning von vorgefertigten Basismodellen, setzen zusätzliche oder spezialisierte Hardware ein, mieten Ressourcen aus der Cloud an und verteilen das Training über mehrere Rechenknoten. Ein Monitoring per TensorBoard gibt Entwicklern hierbei kontinuierlich Rückmeldung zu Trainingsstatus und Modellgüte. Nach dieser Groboptimierung wiederholt man gegebenenfalls das Modelltraining auf aktuelleren Trainingsdaten und verfeinert die Trainingsparameter per AutoML und Hyperparameter-Tuning. Wie sich alle diese Techniken in Kubeflow integrieren lassen, zeigt dieser letzte Teil des Tutorials.