Markt + Trends | Data Science | iX

Mehr Sprachen und neue Ähnlichkeitssuche in Apache Lucene 9.0

Die Java-Bibliothek Lucene ist das Rückgrat vieler Suchmaschinen. Version 9.0 bringt einen wichtigen Algorithmus für die Ähnlichkeitssuche mit und beherrscht mehr Sprachen als bisher.

Fast drei Jahre nach Lucene 8.0 stellt die Apache Software Foundation ein neues Major Release der Suchbibliothek vor. Apache Lucene implementiert in Version 9.0 zum Auffinden einander ähnlicher Datensätze erstmals eine Näherungssuche nach nächsten Nachbarn mit hochdimensionalen Vektoren. Dabei kommt der HNSW-Algorithmus (Hierarchical Navigable Small World) zum Einsatz.

Die Wortstammerkennung basiert jetzt auf dem Snowball-2-Stemmer, wodurch Texte in einer Reihe zusätzlicher Sprachen durchsuchbar werden, vor allem außereuropäischer wie Indonesisch, Hindi oder Tamil.