Rapport Fivetran : Les entreprises doivent éviter les pipelines DIY

Une étude récente de Wakefield Research révèle que la construction manuelle des pipelines de données, impacte négativement la prise de décision et les revenus en entreprise.

Le nouvelle enquête mondiale “State of Data Management Report” menée par Wakefield Research auprès de 300 dirigeants dans le domaine des données et de l’analyse, présente un résultat de premier plan frappant : les Data Engineers en entreprise passent près de la moitié de leur temps à construire et à maintenir des pipelines de données. Il s’agit d’un investissement substantiel, les répondants faisant état d’une médiane de 12 Data Engineers qui consacrent 44 % de leur temps à l’ETL (Extraction, transformation, chargement). Le coût total moyen ? 520 000 dollars par entreprise et par an.

Cette allocation de ressources pourrait avoir du sens si :

Cependant, comme l’a constaté Wakefield Research dans son enquête, aucune de ces conditions ne se vérifie.

Données problématiques, mauvaises décisions

De nombreux responsables des données et de l’analyse ont indiqué à Wakefield que leurs pipelines de données gérés manuellement n’étaient pas fiables et produisaient des données sujettes à erreur, et que ces problèmes entraînaient de mauvaises décisions. Plus précisément :

« Ce serait une chose si les processus utilisés par les entreprises pour construire et gérer manuellement les pipelines étaient optimisés », note George Fraser, PDG de Fivetran, « mais 80 % des personnes interrogées admettent devoir reconstruire les pipelines de données après le déploiement – en raison d’un changement d’interface de programmation (API), par exemple »

Pour les équipes Data en entreprise, les problèmes ne s’arrêtent pas à l’état douteux des données fournies – les personnes interrogées ont également eu du mal à tirer parti de ces données en temps voulu :

Le coût d’opportunité élevé des pipelines DIY

Les responsables des données et de l’analytique comprennent aussi clairement le coût d’opportunité élevé des pipelines – les construire et les maintenir en interne signifie que les Data Engineers ont beaucoup moins de temps pour créer des modèles de données avancés ou permettre des analyses sophistiquées.

Cela peut signifier, à son tour, que les décisions de l’entreprise ne sont pas basées sur les informations les plus puissantes ou les plus pertinentes, et que les résultats de l’entreprise en souffrent. Le rapport “The State of Data Management Report” note que :

Envisagez les ETL (Extraction, transformation, chargement) automatisés

Le rapport sur l’état de la gestion des données vaut la peine d’être lu dans son intégralité. Il comprend des informations sur l’impact des pipelines de données bricolés sur l’agilité de l’entreprise, le défi de la formation de nouveaux ingénieurs et la difficulté d’augmenter la production de pipelines de données à un coût raisonnable.

A propos de Fivetran :

Fivetran est le leader mondial de l’intégration de données moderne. Notre mission est de rendre l’accès aux données aussi simple et fiable que l’électricité. Conçu pour le cloud, Fivetran permet aux équipes Data de centraliser et de transformer sans effort les données provenant de centaines de sources SaaS et On-Premise vers des destinations cloud hautes performances. Des startups en évolution rapide aux plus grandes entreprises mondiales, toutes types d’entreprises utilisent Fivetran pour accélérer l’analyse et l’efficacité opérationnelle, alimentant la croissance de l’entreprise basée sur les données. Le siège de l’entreprise est situé à Oakland, en Californie, Fivetran possède des bureaux dans le monde entier.

Quitter la version mobile