J’ai lancé le nettoyage sur une copie de ma propre table LanceDB, et un assistant IA (Claude, d’Anthropic) m’a aidée à écrire le script de test et à rédiger cet article. Les chiffres ci-dessous sont la sortie réelle de ce lancement, avec LanceDB 0.41.0, sur une copie de la table de l’article précédent. La table d’origine n’a jamais été touchée.
Réponse rapide
Un nettoyage LanceDB prend deux appels. Le premier, optimize(cleanup_older_than=timedelta(0)), supprime en 0,4 seconde les manifestes des 264 anciennes versions, mais il laisse sur disque les 259 anciens fichiers de données, et le répertoire reste à 13,43 Gio. Un second appel avec delete_unverified=True supprime ces fichiers en 0,7 seconde et le répertoire tombe à 5,78 Gio, soit la taille de la version courante. Le prix à payer est l’historique : avant le nettoyage, je pouvais ouvrir la version 1 (2 697 lignes), la version 100 (371 946 lignes) et la version 264 (1 130 595 lignes), et après, seule la version 265 s’ouvre. Les 265 fichiers de transaction restent en place.

Le test du nettoyage LanceDB
J’ai copié tout le répertoire de la table, 13,43 Gio répartis dans 260 fichiers de données, 265 manifestes et 265 fichiers de transaction, vers un dossier séparé, et j’ai ouvert la copie avec l’API Python. Le script mesure le répertoire, ouvre quelques anciennes versions avec checkout, appelle optimize, mesure à nouveau, et retente les mêmes anciennes versions. Le projet LanceDB documente optimize, et la docstring Python de optimize décrit les deux paramètres que j’ai utilisés.
Premier appel : les manifestes partent, les données restent
J’ai appelé table.optimize(cleanup_older_than=timedelta(0)). Python a affiché un avertissement : cette valeur supprime toutes les versions sauf la dernière, et un lecteur ou un écrivain qui utilise encore une ancienne version échouera. L’appel a renvoyé None au bout de 0,4 seconde. J’ai ensuite mesuré à nouveau :
avant versions listées 265 fichiers de données 260 données 13,43 Gio _versions 2,39 Mio _transactions 265 fichiers après versions listées 1 fichiers de données 260 données 13,43 Gio _versions 0,02 Mio _transactions 265 fichiers
L’historique a disparu, et ce nettoyage LanceDB n’a pas rendu l’espace. La docstring de delete_unverified explique pourquoi : les fichiers laissés par une transaction échouée peuvent ressembler à une écriture en cours, donc ils ne sont pas supprimés tant qu’ils n’ont pas au moins 7 jours. Mes fichiers de données datent du 3 novembre, trois jours avant le test. Cela correspond à ce que j’ai vu, mais je ne l’ai pas testé avec des fichiers plus anciens, donc c’est ma lecture de la documentation.
Second appel : les fichiers de données partent
J’ai ensuite appelé table.optimize(cleanup_older_than=timedelta(0), delete_unverified=True), qui a pris 0,7 seconde :
après versions listées 1 fichiers de données 1 données 5,78 Gio _versions 0,02 Mio _transactions 265 fichiers
Le répertoire est passé de 13,43 Gio à 5,78 Gio, et le nombre de lignes de la version 265 est toujours de 1 130 595. La docstring prévient que ce réglage ne doit servir que si aucun autre processus ne travaille sur la table, sinon la table pourrait se retrouver corrompue. Je n’ai pas testé de lecteur ou d’écrivain concurrent.
Ce que coûte un nettoyage LanceDB : le retour en arrière
Avant le nettoyage, checkout(1) renvoyait 2 697 lignes, checkout(100) 371 946 lignes et checkout(264) 1 130 595 lignes. Après, chacun de ces appels échoue avec ValueError: Version N no longer exists. Was it cleaned up?, et seul checkout(265) fonctionne. Gardez cela en tête avant de programmer un nettoyage à délai nul sur une table dont vous comptez sur les anciennes versions pour revenir en arrière après une mauvaise écriture. La fonction accepte un délai, donc un cleanup_older_than plus long conserve les versions récentes, et je n’ai pas testé cette valeur.
Ce qui reste
Le répertoire _transactions/ contient toujours ses 265 fichiers, environ 57 Kio, et le numéro de version de la table est toujours 265, parce que le nettoyage ne crée pas de version. Le répertoire _versions/ contient le manifeste de la version 265 et le fichier d’indice de 15 octets.
Ce que je n’ai pas testé
J’ai testé une table, une fois, sur un disque local. Je n’ai pas testé un délai supérieur à zéro, une table sur un stockage objet, un lecteur concurrent, ni les options de compactage de optimize. Les fichiers de la copie avaient trois jours, donc le comportement des 7 jours vient de la documentation et d’une observation, pas d’une comparaison contrôlée.
Documentation officielle
La page versions de Lance et l’agencement des fichiers d’une table Lance décrivent les versions et les répertoires, et le projet LanceDB documente l’API Python.
Laisser un commentaire