Databricks

Pendant dix ans, les entreprises ont entretenu deux plateformes en parallèle. D’un côté un lac de données, capable d’avaler des fichiers de toute nature à faible coût, mais sans garantie de cohérence : deux traitements simultanés produisaient des résultats intermédiaires incohérents, et personne ne pouvait revenir en arrière. De l’autre un entrepôt fiable et rapide, mais fermé aux données non tabulaires et bien plus cher au téraoctet.

Databricks a supprimé cette séparation en ajoutant au lac ce qui lui manquait, et c’est ce point technique précis qui explique le reste.

Vos données restent des fichiers ouverts dans votre propre stockage cloud. À côté d’eux, un journal de transactions enregistre chaque modification. Cette addition apporte au lac de données trois propriétés qui étaient jusque-là réservées aux bases : une écriture est soit complète soit inexistante, une lecture ne voit jamais un état intermédiaire, et l’historique permet de relire la table telle qu’elle était à une date donnée.

La conséquence stratégique compte autant que la conséquence technique. Le format étant ouvert et documenté, vos données ne sont pas prisonnières de l’outil : d’autres moteurs savent les lire. C’est un argument sérieux dans un marché où le coût de sortie décide souvent plus que le coût d’entrée.

Au-dessus, un catalogue centralise la gouvernance : qui a le droit de voir quoi, jusqu’au niveau de la ligne et de la colonne, avec la traçabilité de bout en bout et un inventaire commun à tous les espaces de travail. C’est la brique que les organisations installent en dernier alors qu’elle devrait venir en premier, parce que rétablir la gouvernance sur une plateforme déjà peuplée demande dix fois plus de travail.

Premier point que beaucoup découvrent après coup : vous payez deux fois. Databricks facture l’usage de sa plateforme en unités de traitement, et votre fournisseur de cloud vous facture séparément les machines qui exécutent le travail. Comparer un tarif affiché à celui d’un entrepôt classique sans additionner les deux mène à des projections fausses.

Deuxième point, et c’est l’économie la plus rentable que nous ayons vue sur cette plateforme : le calcul interactif et le calcul planifié ne se facturent pas au même tarif. Une grappe interactive, celle où les analystes travaillent dans leurs carnets, coûte nettement plus cher par unité qu’une grappe créée pour exécuter une tâche puis s’éteindre. Or beaucoup d’équipes laissent leurs traitements nocturnes tourner sur les grappes interactives, parce que c’est là qu’ils ont été mis au point. Basculer les traitements planifiés sur du calcul dédié à la tâche est une manipulation de quelques minutes, sans aucun changement de code, et l’écart se voit dès la facture suivante.

Troisième point, l’extinction automatique. Une grappe interactive qu’un analyste a lancée à onze heures et oubliée en partant facture sa nuit entière. Le délai d’inactivité doit être court et non négociable.

Enfin, pour la restitution, les entrepôts SQL sans serveur démarrent en quelques secondes au lieu de plusieurs minutes. Sur un usage de tableaux de bord où les utilisateurs se connectent par vagues, cela supprime à la fois l’attente et les grappes maintenues allumées pour l’éviter.

Le premier : un carnet de notes n’est pas un traitement de production. C’est un outil d’exploration, exécuté à la main, dont l’ordre des cellules ne garantit rien et dont l’état dépend de ce qui a été lancé avant. Un traitement qui compte doit être versionné, testé et déclenché par un ordonnanceur. Les plateformes que nous reprenons souffrent presque toutes de ce glissement, où l’exploration d’un jour est devenue le traitement critique du trimestre sans jamais avoir été industrialisée.

Le second : Databricks n’est pas un outil libre-service pour des utilisateurs métier. Les pipelines déclaratifs et l’interface SQL ont réduit la marche, mais la plateforme suppose du Python dans l’équipe. Sans cette compétence, vous achèterez une capacité que personne n’utilisera, ce qui est la plus coûteuse des erreurs de choix.

Quand vos données ne sont pas seulement des tableaux. Images, sons, documents, journaux techniques, capteurs : c’est le terrain où la plateforme n’a pas d’équivalent direct.

Quand l’apprentissage automatique fait partie du projet, et pas seulement le tableau de bord. Entraînement, suivi des expériences, mise en service et surveillance des modèles sont intégrés, au lieu d’être assemblés à la main.

Et quand les volumes justifient un moteur distribué. En dessous, la puissance ne se voit pas et la complexité se paie.

Quand il vaut mieux autre chose

Si vos données sont tabulaires et vos équipes SQL, Snowflake demandera beaucoup moins d’administration pour un résultat équivalent. C’est le cas le plus courant en PME.

Si la charge est irrégulière et que vous êtes déjà chez Google, BigQuery évite de dimensionner quoi que ce soit.

Et sur une organisation entièrement Microsoft, Fabric mérite l’examen : il repose sur le même format de fichiers ouvert et s’intègre nativement à Power BI.

Nous posons le socle : organisation des couches de données du brut au restituable, gouvernance et droits d’accès dès le départ, politique de calcul séparant l’exploration de la production, et industrialisation des traitements hors des carnets.

Nous intervenons aussi sur des plateformes dont le coût a échappé au contrôle. Le diagnostic est presque toujours le même : traitements planifiés exécutés sur du calcul interactif, extinction automatique absente ou trop longue, grappes surdimensionnées par précaution, et tableaux de bord branchés sur des grappes maintenues allumées faute d’entrepôts SQL sans serveur.

Nous connectons enfin la chaîne complète : transformation avec dbt, orchestration avec Airflow ou Dagster, restitution avec Power BI. Et si votre situation appelle une plateforme plus simple, nous vous le dirons avant que vous ne signiez.

Qu’apporte Databricks par rapport à un lac de données classique ?

Un journal de transactions posé à côté des fichiers. Il apporte au lac trois propriétés jusque-là réservées aux bases de données : une écriture est soit complète soit inexistante, une lecture ne voit jamais d’état intermédiaire, et l’historique permet de relire une table telle qu’elle était à une date donnée. Le format des fichiers restant ouvert et documenté, les données ne sont pas prisonnières de l’outil, ce qui limite le coût de sortie.

Pourquoi ma facture Databricks est-elle plus élevée que prévu ?

D’abord parce qu’il y a deux factures : Databricks facture sa plateforme en unités de traitement, et le fournisseur de cloud facture séparément les machines. Ensuite, et c’est l’erreur la plus coûteuse, parce que les traitements planifiés tournent souvent sur des grappes interactives, dont le tarif par unité est nettement supérieur à celui du calcul dédié à une tâche. Enfin parce que l’extinction automatique est absente ou trop longue : une grappe oubliée facture toute la nuit.

Peut-on mettre en production un carnet Databricks ?

Ce n’est pas ce pour quoi il est fait. Un carnet est un outil d’exploration exécuté à la main, dont l’ordre des cellules ne garantit rien et dont l’état dépend de ce qui a été lancé avant. Un traitement qui compte doit être versionné, testé et déclenché par un ordonnanceur. Le glissement inverse, où l’exploration d’un jour devient le traitement critique du trimestre, est le défaut le plus répandu sur les plateformes que nous reprenons.

Databricks convient-il à une PME ?

Seulement si le besoin le justifie. La plateforme prend l’avantage quand les données ne sont pas uniquement tabulaires (images, sons, documents, journaux techniques, capteurs), quand l’apprentissage automatique fait partie du projet, et quand les volumes justifient un moteur distribué. Sur des données tabulaires avec des équipes SQL, Snowflake demande beaucoup moins d’administration pour un résultat équivalent. Databricks suppose par ailleurs du Python dans l’équipe.

Faut-il installer la gouvernance dès le début sur Databricks ?

Oui. Le catalogue centralise les droits d’accès jusqu’au niveau de la ligne et de la colonne, la traçabilité de bout en bout et l’inventaire commun à tous les espaces de travail. C’est la brique que les organisations installent en dernier alors qu’elle devrait venir en premier : rétablir la gouvernance sur une plateforme déjà peuplée demande un travail sans commune mesure avec sa mise en place initiale.

• Snowflake ou Databricks, les quatre critères qui tranchent encore entre les deux.
• Snowflake, l’alternative tabulaire à faible administration.
• Microsoft Fabric, même format de fichiers, écosystème différent.
• Panorama des technologies sur lesquelles nous intervenons.

Sources — documentation officielle de l’éditeur, consultée le 22 août 2026 : Delta Lake, types de calcul, Unity Catalog.