Annoy : Recherche de similarité scalable pour embeddings

Annoy (Approximate Nearest Neighbors Oh Yeah) est une bibliothèque open source en C++ développée par Spotify, conçue pour effectuer une recherche de plus proches voisins approximés (ANN) dans des espaces vectoriels de haute dimension. Optimisée pour les charges de travail en lecture, Annoy est idéale pour rechercher rapidement dans de grands ensembles de vecteurs statiques, ce qui en fait un choix populaire pour les moteurs de recommandation, la recherche sémantique, les systèmes de filtrage par contenu ou les similarités musicales.

Annoy est particulièrement adapté aux cas d’usage où les embeddings sont nombreux, peu modifiés, et nécessitent des requêtes rapides. Les index sont sauvegardés sur disque et peuvent être mappés en mémoire pour une utilisation efficace en production.

Principaux avantages :

• Lecture ultra-rapide avec faible consommation mémoire
• Index sur disque partageables entre plusieurs processus
• Aucun prérequis externe, facile à utiliser en C++ ou Python

Quelles sont les fonctionnalités principales d’Annoy ?

Recherche approximative de plus proches voisins (ANN)

Annoy permet une recherche rapide en haute dimension via des arbres de projections aléatoires.

• Prise en charge des requêtes k-NN (k-nearest neighbors)
• Performant dans des espaces vectoriels complexes
• Compatible avec plusieurs métriques : cosinus, euclidienne, Manhattan, Hamming

Index sur disque et mappage mémoire

Les index construits par Annoy sont en lecture seule et persistés sur disque.

• Chargement rapide grâce au mappage mémoire
• Plusieurs processus peuvent partager le même index sans le dupliquer
• Idéal pour des ensembles de données statiques à forte lecture

Bibliothèque légère sans dépendances

Annoy est écrit en C++ avec des bindings Python, sans dépendances externes.

• Facile à compiler et intégrer
• Interface Python simple, largement utilisée dans les pipelines IA
• Utilisable même dans des environnements à ressources limitées

Support de plusieurs fonctions de distance

Annoy prend en charge plusieurs métriques de distance selon les besoins du projet.

• Similarité angulaire (cosinus)
• Distance euclidienne (L2)
• Distance Manhattan (L1)
• Distance de Hamming (pour vecteurs binaires)

Optimisé pour grands jeux de données statiques

Annoy est conçu pour les cas d’usage avec de nombreux vecteurs peu modifiés.

• Peut gérer des millions de vecteurs de haute dimension
• Plus on utilise d’arbres, meilleures sont les performances (au prix d’une précision ajustable)
• Adapté aux recommandations, similarité d’images ou audio, et recherche pré-calculée

Pourquoi choisir Annoy ?

• Parfait pour la lecture seule : idéal pour des embeddings statiques en production
• Efficace sur disque : index rapides à charger et à partager
• Simple et portable : cœur léger en C++ avec API Python accessible
• Multiples métriques intégrées : pas besoin d’implémenter sa propre logique de distance
• Éprouvé à grande échelle : utilisé par Spotify dans ses systèmes de recommandation en production