la data intelligence

Data ingénieur ou ingénieur big data : avez-vous les compétences critiques ?

Data ingénieur ou ingénieur big data : avez-vous les compétences critiques ?

Vous avez un profil de mathématicien, l’esprit scientifique, vous êtes spécialiste statisticien… Ou pas du tout ? Eh bien ce n’est peut-être pas ce qu’on vous demandera en priorité pour faire un bon data ingénieur ou ingénieur big data. Oubliez un temps votre profil scolaire, vos compétences critiques relèvent plus de la plomberie, tuyauterie voire de la cuisine. Tout ceci version très haut niveau. Il n’y a d’ailleurs rien de plus passionnant. On vous le prouve…

 

La recette d’un bon data ingénieur : l’assistant cuisinier

En tant que data ingénieur, vous êtes celui qui va préparer tous les ingrédients pour que la cuisine soit géniale, tout en étant consommable. Après vous, vont en effet passer les data scientists et data analysts, qui élaborent les plats numériques.

Vous allez donc les réceptionner, les nettoyer, et les organiser pour que chaque cuisinier puisse sélectionner et utiliser les ingrédients qui entrent dans sa recette personnelle. Par ailleurs, dans une même entreprise, on ne prépare rarement qu’un seul met ! Chaque service a sa recette, il faut donc que les données-ingrédients soient correctement étiquetées. Bien identifiables pour que chacun puisse se servir à la prochaine étape.

On attendra donc de vous que vous maîtrisiez la cuisine technique, c’est-à-dire les langages de programmation, les logiciels et cadriciels (Hadoop, Spark, Hive, Storm…), et que vous ayez quelques bonnes notions du langage universel qu’on utilisera aux fourneaux : l’anglais technique.

Vous êtes en réalité l’expert en data preparation. Soit le responsable des étapes découverte, organisation, nettoyage, enrichissement, validation et diffusion.

Pour le reste, voici les compétences que vous devez avoir…

Data ingénieur ou docteur diagnosticien

En réalité, votre première mission consiste à poser un diagnostic sur votre client ou demandeur. Qui est-il ? Dans quel environnement numérique évolue-t-il ? Quelles données utilise-t-il ? Comment ? Dans quels services… ? Vous êtes donc là en amont de tout usage de data, et vous allez collecter toutes les données utiles.

 

Ingénieur… en nettoyage !

Une donnée corrompue ou erronée risque de mettre en péril toute l’analyse qui s’en suit et les stratégies qui vont se construire dessus.

Il est donc de votre responsabilité de savoir faire le ménage. Vous  devez pouvoir ajuster le format des données, les rendre lisibles, nettoyer les stocks en éliminant les données incomplètes, avant de les rediriger vers les bons tuyaux. Vous devez donc sélectionner et maîtriser votre outil de data cleaning en fonction de vos besoins (data profiling, formatage de données inclus, etc.).

 

Super Mario data ingénieur

Vous devez aussi être expert en plomberie-tuyauterie. C’est-à-dire que vous allez organiser la distribution de la data vers les bases de données accessibles à vos utilisateurs pros.

Vous savez aussi vous assurer que vos pipelines restent opérationnels et bien nettoyés et vous participez à la construction de l’architecture Big Data de l’entreprise.

 

La touche en plus : le team lead

La compétence critique finale qui fera la différence avec les autres data engineers, c’est votre capacité à travailler en équipe, voire à prendre le lead.

Vous êtes à la fois à la base et au cœur de l’appropriation de ses données par une entreprise… Vous devez donc pouvoir dialoguer en bonne intelligence avec les ingénieurs BI, les data scientists et jusqu’aux instances décisionnelles voire politiques. En effet, vous manipulez leurs données et leurs donnez le pouvoir de rester publiques ou d’être anonymisées, d’être traitées par d’autres services, déplacées, stockées… Vous avez donc des outils sensibles entre les mains.

On attend donc de vous de bonnes aptitudes de communication et de pédagogie, à l’écrit comme à l’oral, et un mental de leader.

Définissez le profil du data ingénieur véritablement adapté à votre projet ou votre entreprise…

Cliquez ici et prenons Rendez-Vous.

Share This

Copy Link to Clipboard

Copy