Why data science alone won’t make your product successful

Au cours de la dernière décennie, la séparation entre les équipes technologiques et commerciales s’est considérablement réduite, presque jusqu’à disparaître. Personnellement, je soutiens cette évolution. Toutes les équipes techniques ne travaillent pas nécessairement dans des entreprises technologiques, et l’effritement des frontières entre le commercial et le technologique nous permet de concevoir et de livrer des produits en étant assurés qu’ils seront bien accueillis, largement adoptés (ce qui n’est pas toujours garanti) et qu’ils contribueront de manière significative aux résultats financiers. Quel meilleur moyen de motiver une équipe technique performante ?

Ce changement a été accéléré — sinon provoqué — par les technologies de données. Nous avons passé des décennies à naviguer à travers les cycles de hype liés aux grandes données, à l’intelligence d’affaires et à l’IA. Chacun de ces cycles a introduit de nouvelles compétences, des problèmes et des collaborateurs pour le CTO et son équipe, tout en nous éloignant un peu plus du reste de l’organisation ; personne d’autre ne peut faire ce que nous faisons, mais tout le monde a besoin que cela soit fait.

Les équipes techniques ne sont pas intrinsèquement commerciales, et à mesure que ces rôles se sont élargis pour inclure la création et la livraison d’outils destinés à soutenir diverses équipes au sein de l’organisation, cet écart est devenu de plus en plus évident. Nous avons tous vu les statistiques concernant le nombre de projets de science des données, en particulier, qui ne parviennent jamais à être mis en production — et il n’est pas surprenant de le constater. Les outils conçus pour les équipes commerciales par des personnes qui ne comprennent pas pleinement leurs besoins, objectifs ou processus seront toujours d’une utilité limitée.

Ce gaspillage de fonds technologiques était immensément justifiable dans les débuts de l’IA — les investisseurs voulaient voir des investissements dans la technologie, pas des résultats — mais la technologie a mûri, et le marché a évolué. Désormais, nous devons démontrer des retours réels sur nos investissements technologiques, ce qui implique de livrer des innovations ayant un impact mesurable sur les résultats financiers.

Passer d’une fonction de soutien à une fonction essentielle

Les douleurs de croissance des cycles de hype liés aux données ont apporté deux avantages considérables au CTO moderne et à son équipe (au-delà de l’introduction d’outils tels que l’apprentissage automatique (ML) et l’IA). Le premier est une architecture de données centralisée et mature qui élimine les silos de données historiques au sein de l’entreprise et nous offre, pour la première fois, une vision claire de ce qui se passe au niveau commercial et de la manière dont les actions d’une équipe influencent une autre. Le second est le passage d’une fonction de soutien à une fonction essentielle.

Ce second point est crucial. En tant que fonction essentielle, les travailleurs techniques ont désormais une place à la table aux côtés de leurs collègues commerciaux, et ces relations favorisent une meilleure compréhension des processus en dehors de l’équipe technologique, y compris ce que ces collègues doivent accomplir et comment cela impacte l’entreprise.

Cette dynamique a engendré de nouvelles méthodes de travail. Pour la première fois, les individus techniques ne sont plus isolés, répondant à des demandes déconnectées provenant de toute l’entreprise pour extraire une statistique ou analyser des données. Au lieu de cela, ils peuvent enfin voir l’impact qu’ils ont sur l’entreprise en termes monétaires. C’est une perspective gratifiante qui a donné naissance à une nouvelle façon de travailler ; une approche qui maximise cette contribution et vise à générer autant de valeur que possible, le plus rapidement possible.

Introduction de la valeur lean

Je suis réticent à ajouter une autre méthodologie de gestion de projet au lexique, mais la valeur lean mérite d’être considérée, en particulier dans un environnement où le retour sur investissement technologique est scruté de près. Le principe directeur est « priorisation impitoyable pour maximiser la valeur ». Pour mon équipe, cela signifie donner la priorité à la recherche ayant la plus forte probabilité de livrer de la valeur ou de faire progresser les objectifs organisationnels. Cela implique également de déprioriser les tâches non critiques.

Nous nous concentrons sur l’atteinte d’un produit minimum viable (MVP), en appliquant des principes lean à l’ingénierie et à l’architecture, et — voici le point délicat — en évitant activement une construction parfaite lors de la première itération. Chaque semaine, nous examinons les exigences non fonctionnelles et les réévaluons en fonction de nos objectifs. Cette approche réduit le code superflu et empêche les équipes de se laisser distraire ou de perdre de vue l’objectif global. C’est une méthode de travail que nous avons également constatée comme étant inclusive pour les individus neurodivers au sein de l’équipe, car il existe un cadre très clair auquel se référer.

Le résultat a été une accélération des lancements de produits. Nous avons une équipe internationale dispersée et opérons une architecture de microservices modulaires, ce qui se prête bien à l’approche de la valeur lean. Les revues hebdomadaires nous maintiennent concentrés et évitent le développement inutile — ce qui est en soi un gain de temps — tout en nous permettant d’apporter des modifications de manière incrémentale et d’éviter des refontes étendues.

Exploitation des LLM pour améliorer la qualité et accélérer la livraison

Nous établissons des niveaux de qualité que nous devons atteindre, mais opter pour l’efficacité plutôt que pour la perfection signifie que nous sommes pragmatiques quant à l’utilisation d’outils tels que le code généré par l’IA. GPT-4 peut nous faire gagner du temps et de l’argent en générant des recommandations d’architecture et de fonctionnalités. Nos membres seniors passent ensuite leur temps à évaluer et à affiner ces recommandations au lieu d’écrire le code eux-mêmes.

Il y aura beaucoup de personnes qui trouveront cette approche peu attrayante ou à court terme, mais nous veillons à atténuer les risques. Chaque incrément de construction doit être prêt pour la production, affiné et approuvé avant que nous passions à l’étape suivante. Il n’y a jamais de moment où les humains sont exclus du processus. Tout code — en particulier celui généré — est supervisé et approuvé par des membres expérimentés de l’équipe conformément à nos propres codes de conduite éthiques et techniques.

Les data lakehouses : architecture de données à valeur lean

Inévitablement, le cadre de la valeur lean s’est étendu à d’autres domaines de notre processus, et l’adoption des modèles de langage de grande taille (LLM) comme outil d’économie de temps nous a conduits aux data lakehouses ; un mélange de lac de données et d’entrepôt de données.

La normalisation des données et la structuration des données non structurées pour livrer un entrepôt de données d’entreprise (EDW) est un processus qui s’étend sur plusieurs années et présente des inconvénients. Les EDW sont rigides, coûteux et ont une utilité limitée pour les données non structurées ou les formats de données variés.

En revanche, un data lakehouse peut stocker à la fois des données structurées et non structurées, et l’utilisation des LLM pour traiter ces données réduit le temps nécessaire à leur normalisation et à leur structuration, les transformant automatiquement en informations précieuses. Le lakehouse fournit une plateforme unique pour la gestion des données qui peut soutenir à la fois les analyses et les flux de travail ML, nécessitant moins de ressources de l’équipe pour sa mise en place et sa gestion. La combinaison des LLM et des data lakehouses accélère le temps de valorisation, réduit les coûts et maximise le retour sur investissement.

Comme pour l’approche de la valeur lean en matière de développement de produits, cette approche de la valeur lean en matière d’architecture de données nécessite certaines limites. Les équipes doivent disposer d’une gouvernance des données robuste et bien réfléchie pour maintenir la qualité, la sécurité et la conformité. Équilibrer la performance des requêtes sur de grands ensembles de données tout en maintenant l’efficacité des coûts est également un défi constant qui nécessite une optimisation continue des performances.

Une place à la table

L’approche de la valeur lean est un cadre ayant le potentiel de transformer la manière dont les équipes technologiques intègrent les insights de l’IA dans la planification stratégique. Elle nous permet de livrer des résultats significatifs pour nos organisations, motive les équipes performantes et garantit qu’elles sont utilisées de manière optimale. De manière critique pour le CTO, cela assure que le retour sur les investissements technologiques est clair et mesurable, créant une culture dans laquelle le département technologique soutient les objectifs commerciaux et contribue autant aux revenus que des départements tels que les ventes ou le marketing.