REGARD · Méthode
Du fichier brut à la table « gold »
Avant qu'une IA puisse répondre quoi que ce soit de fiable, il faut dompter la donnée. Voici, étape par étape et sans jargon, comment une donnée d'entreprise sale devient une donnée de confiance.
Pourquoi c'est le vrai travail
Dans une vraie organisation, la donnée n'arrive jamais propre. Elle sort de plusieurs systèmes, saisie par des humains, dans des formats qui ne s'accordent pas. Une part importante est même inexploitable. La valeur n'est pas de faire semblant qu'elle est propre , c'est de la nettoyer méthodiquement, et de tracer ce qu'on écarte. C'est précisément ce que fait cette première brique.
Le fichier brut (« raw »)
« Raw » veut dire brut : les données telles qu'elles sortent des systèmes, sans aucune retouche. Notre fichier de départ liste des expositions de risque par contrepartie , une contrepartie étant une banque ou un acteur avec qui on a un engagement financier. Voici un échantillon représentatif de son désordre :
| Id | Contrepartie | Montant | Devise | Date | Problème |
|---|---|---|---|---|---|
| (vide) | BNPP | 1 250 000 | € | 01/03/2026 | Id manquant, nom abrégé, montant espacé, date au format français |
| EXP-1043 | soc gen | 2.4M | eur | mars 2026 | Nom en minuscules, montant en millions, devise en minuscules |
| EXP-1055 | Deutsche Bank | 920000.00 | (vide) | 2026/02/14 | Devise absente, date avec séparateurs différents |
| EXP-DUP-3 | HSBC | 1.250.000,00 | GBP | 2026-01-20 | Doublon d'une autre ligne, montant au format européen |
| EXP-BAD-2 | (vide) | N/A | (vide) | 31/02/2026 | Irréparable : ni contrepartie, ni montant, date impossible |
Le nettoyage, étape par étape
Un programme passe chaque ligne au crible et applique des règles de réparation. Cinq chantiers :
Montants
On retire espaces, symboles et séparateurs, on interprète les millions, pour obtenir un seul nombre comparable.
Devises
On normalise vers un code standard à trois lettres. Si la devise manque mais qu'un symbole traîne dans le montant, on la déduit.
Dates
Tout est ramené au format international AAAA-MM-JJ : trié et comparé sans ambiguïté.
Doublons
Même contrepartie + même date = doublon. On garde la version la mieux notée, on écarte l'autre , et on la trace.
Rejets
Certaines lignes sont irréparables. On ne devine pas : on les rejette en notant pourquoi. Inventer une donnée serait pire que la jeter.
Le score de qualité
Chaque ligne qui survit reçoit une note entre 0 et 1. Le principe est simple : plus une ligne a eu besoin de réparations, plus sa note baisse. Une ligne parfaite dès le départ vaut 1,0 ; une ligne qu'il a fallu corriger sur plusieurs champs vaut moins. Cette note n'est pas décorative : plus tard, l'agent IA s'en sert pour décider s'il peut s'appuyer sur une donnée, la signaler, ou refuser de répondre.
La table « gold »
En ingénierie de données, on parle de paliers : bronze (brut), silver (nettoyé), gold (prêt à l'emploi). La table gold est la version finale : propre, dédupliquée, notée, fiable. C'est la seule que l'IA et les tableaux de bord ont le droit de consulter. Tout part d'elle.
Lignes brutes
207
Retenues (gold)
140
Écartées
67
Qualité moyenne
75 %