Comment éviter les exports manuels pendant la centralisation des données ?

[Scott47]

Salut à tous, je me pose une question depuis quelques jours suite à un truc au boulot. On a commencé à mettre en place un nouveau système pour centraliser nos données, et je me retrouve à devoir faire des exports manuels pour alimenter certains rapports, alors que je pensais que justement, l’idée était de tout automatiser. J’ai l’impression de passer à côté du principe même de la gouvernance des données, ou alors c’est juste une phase transitoire normale ? Ça me donne un peu l’impression de faire deux fois le travail, et je me demande si d’autres ont vécu ça au début d’un projet similaire.

[Tyler61]

Ça me parle. Dans les premiers mois on teste des mécanismes d automatisation et les exports manuels apparaissent souvent comme une croix mal placée entre ce qui est prévu et ce que l outil peut livrer tout de suite. La gouvernance des données ce n est pas juste des règles écrites c est aussi une pratique qui colle à la réalité et si les données ne sont pas disponibles en automatique pour tous les rapports on est dans une gestion par patch. Cette phase transitoire peut être normale mais il faut repérer où se bloquent les flux et ajuster le design plutôt qu espérer que tout marche dès le départ. Tu penses que c est dû à une étape de montée en maturité des flux ou à une lacune d architecture ?

[GaryNL]

Je suis peut etre trop réaliste mais ce genre de dilemme arrive assez souvent. Le mot clé c est gouvernance des données et c est exactement ce que montre l ecart entre le papier et le bois on veut tout automatiser mais les sources ne collent pas encore parfaitement entre elles. Les exports manuels vont durer tant que les modèles de données evoluent plus vite que les rapports. Aller retour calibration et puis on avance.

[Tyler_S]

Franchement j ai envie de reformuler le problème si on fait les choses pour l etiquette gouvernance des données est ce qu on n aurait pas dû commencer par aligner les definitions et les metadonnees avant d ajouter des exports Le fait que l automatisation ne soit pas prête ne signifie pas qu on a mal travaille c est peut etre une incertitude sur ce que centraliser veut vraiment Si tu as besoin de chiffres l export manuel peut etre le ciment qui empêche des incoherences en attendant les pipelines clean.

[Stephen.L]

On peut aussi sentir une tension entre l attente des lecteurs ou acteurs et l effort technique Dans les rapports le lecteur attend une donnée qui refle le etat du systeme en direct tant que l automatisation ne couvre pas tout tu te retrouves avec un patchwork qui peut diminuer la confiance Le mot clé gouvernance des données est la mais les pratiques ne sont pas alignees Peut etre que le vrai sujet est les dependances entre les sources et les regles de transformation d un autre cote il faut accepter une phase d ajustement et communiquer clairement sur les limites.