Vektordatenbanken – ein Überblick
Vektordatenbanken bilden das Langzeitgedächtnis generativer KI-Modelle und sind auch darüber hinaus fürs Machine Learning nützlich. Die Produktkategorie ist noch jung; Pinecone, Milvus, Weaviate, Chroma und Qdrant sind die aussichtsreichsten Kandidaten.
Obwohl Gartner die Vektordatenbanken erst am Anfang ihres Hype-Zyklus sieht, sind sie nach großen Sprachmodellen (Large Language Models, LLMs) derzeit vielleicht das meistdiskutierte KI-Thema. Vektordatenbanken speichern und verarbeiten hochdimensionale Daten in Form von Vektoren. Sie eignen sich damit hervorragend für die Embeddings, in denen LLMs den semantischen Kontext der verarbeiteten Token speichern.
Damit ermöglichen sie viele unterschiedliche Einsatzszenarien, die sich in drei Bereiche einteilen lassen: Die Retrieval Augmented Generation kommt häufig zum Einsatz, wenn man einem LLM Zugriff auf die eigenen Daten gewähren möchte. Dabei speichert ein Unternehmen seine Dokumente entsprechend aufbereitet in der Vektordatenbank und räumt dem Sprachmodell die Möglichkeit ein, auf die jeweils relevantesten zuzugreifen.