Mit Kubeflow und Evidently Modellendpunkte erstellen
Wurde ein ML-Modell erst mal in der Kubeflow-Pipeline trainiert, lässt sich mit KServe ein Endpunkt dafür bereitstellen. Dabei darf man das Monitoring nicht aus den Augen verlieren, um auf Modell- und Datendrift reagieren zu können.
Der erste Teil der Kubeflow-Reihe hat sich damit befasst, wie man KI-Modelle von Notebooks in Kubeflow-Pipelines bringt, um komplexe ML-Workflows zu orchestrieren. Das erlaubt den schnellen Einsatz von ML-Komponenten, die sich dann in anderen Projekten wiederverwenden lassen. Obwohl Kubeflow-Pipelines beim Bereitstellen von Modellen als Teil des Gesamt-Workflows helfen können, sind sie nicht speziell konzipiert, Modelle in Echtzeit bereitzustellen. Für Deployments findet sich im Kubeflow-Baukasten jedoch ein passendes Werkzeug: KServe.
KServe, ehemals als KFServing bekannt, eignet sich ausgezeichnet, um APIs oder Endpunkte bereitzustellen, die Eingabedaten empfangen und Vorhersagen von den Modellen zurückgeben können. Für den Einsatz in Produktion gewährleistet KServe die Skalierbarkeit des Endpunkts, indem es die Anzahl der Service-Replikas reguliert. Basierend auf der aktuellen Arbeitslast weist es dem Endpoint automatisch Nodes aus dem Kubernetes-Cluster zu, wodurch das System auch in Zeiten hoher Nachfrage Antworten mit geringer Latenz gewährleistet.