Ancrer les LLMs dans la réalité : Comment une entreprise a augmenté sa productivité de 70 % grâce à l’IA générative

Drip Capital, une startup fintech basée à Silicon Valley, utilise l’IA générative pour réaliser une augmentation impressionnante de 70 % de sa productivité dans les opérations de financement du commerce international. Avec plus de 500 millions de dollars levés en financement par emprunt et en capital, l’entreprise emploie des modèles de langage avancés (LLMs) pour automatiser le traitement des documents, améliorer l’évaluation des risques et accroître considérablement l’efficacité opérationnelle. Cette approche axée sur l’IA permet à Drip Capital de traiter quotidiennement des milliers de documents commerciaux complexes, surpassant de loin les méthodes manuelles traditionnelles.

Établie en 2016, Drip Capital s’est rapidement imposée comme un acteur majeur dans le secteur du financement du commerce, avec des opérations aux États-Unis, en Inde et au Mexique. L’utilisation innovante de l’IA par l’entreprise combine une ingénierie de prompt sophistiquée avec une supervision humaine stratégique pour surmonter des défis courants tels que les hallucinations. Ce système hybride redéfinit les opérations de financement du commerce à l’ère numérique, établissant de nouvelles normes d’efficacité dans une industrie traditionnellement axée sur le papier.

Karl Boog, directeur commercial de l’entreprise, souligne l’ampleur de ces gains d’efficacité : « Nous avons pu multiplier notre capacité par 30 avec ce que nous avons réalisé jusqu’à présent. » Cette amélioration spectaculaire illustre le potentiel transformateur de l’IA générative dans le secteur fintech, offrant un exemple convaincant de la manière dont les startups peuvent utiliser l’IA et les LLMs pour obtenir un avantage concurrentiel sur le marché mondial du financement du commerce, évalué à plusieurs milliers de milliards de dollars.

Au cœur de la stratégie d’IA de Drip Capital se trouvent des techniques avancées de traitement de documents. Tej Mulgaonkar, responsable du développement produit, explique leur approche : « Nous traitons environ quelques milliers de documents chaque jour. Nous avons rencontré des difficultés pendant un certain temps, car au début, nous avons mis en place des opérations manuelles. »

Maximiser l’utilisation des LLMs actuels

Le parcours de l’entreprise avec l’IA a commencé par des expériences combinant la reconnaissance optique de caractères (OCR) et les LLMs pour numériser et interpréter des informations provenant de divers documents commerciaux. « Nous avons commencé à expérimenter une combinaison d’OCR et de LLMs travaillant ensemble pour numériser et ensuite donner un sens aux informations », déclare Mulgaonkar.

Cependant, le chemin vers une intégration réussie de l’IA n’a pas été sans défis. Comme de nombreuses entreprises confrontées à l’IA générative, Drip Capital a d’abord rencontré des problèmes d’hallucinations, des cas où l’IA générait des informations plausibles mais incorrectes. Mulgaonkar reconnaît ces premiers obstacles : « Nous avons eu quelques difficultés pendant un certain temps. Il y avait beaucoup d’hallucinations, beaucoup de résultats peu fiables. »

Pour surmonter ces défis, Drip Capital a adopté une approche systématique de l’ingénierie des prompts. L’entreprise a tiré parti de sa vaste base de données de documents traités pour affiner et optimiser les instructions données à l’IA. « Nous avions des centaines de milliers de documents que nous avions traités au cours de sept années d’opérations, pour lesquels nous avions essentiellement des données de sortie précises disponibles dans notre base de données », explique Mulgaonkar. « Nous avons construit un script très simple qui nous a permis de sélectionner des échantillons de données d’entrée, de passer par les prompts que nous écrivions, d’obtenir des résultats d’un ensemble d’agents, puis de comparer ces résultats à ce que nous avons dans la base de données comme source de vérité précise. »

Ce processus itératif de raffinement des prompts a considérablement amélioré la précision de leur système d’IA. Mulgaonkar note : « L’ingénierie des prompts nous a vraiment aidés à obtenir beaucoup plus de précision des LLMs. »

L’approche de Drip Capital en matière d’implémentation de l’IA se distingue par son pragmatisme. Plutôt que d’essayer de construire leurs propres LLMs, des systèmes de génération augmentée par récupération (RAG) sophistiqués, ou de s’engager dans un ajustement complexe, l’entreprise s’est concentrée sur l’optimisation de l’utilisation de modèles existants grâce à une ingénierie de prompt soignée.

Le retour triomphant de l’ingénierie des prompts

Au début de 2023, The Washington Post a qualifié l’ingénierie des prompts de « nouveau métier le plus en vogue de la technologie », soulignant comment les entreprises se précipitaient pour embaucher des spécialistes capables d’extraire des résultats optimaux des systèmes d’IA grâce à des prompts textuels soigneusement élaborés. L’article dépeignait les ingénieurs de prompts comme des sorciers modernes, capables de débloquer des capacités cachées dans les LLMs grâce à leur maîtrise de la « programmation en prose ».

Cette enthousiasme a été repris par d’autres grandes publications et organisations. Le Forum économique mondial, par exemple, a inclus l’ingénierie des prompts parmi les emplois émergents dans son rapport sur les emplois de demain. L’intérêt soudain a conduit à une multitude de cours en ligne, de certifications et d’offres d’emploi spécifiquement destinés aux rôles d’ingénierie des prompts.

Cependant, l’engouement a rapidement été confronté à du scepticisme. Les critiques ont soutenu que l’ingénierie des prompts était une mode passagère, destinée à devenir obsolète à mesure que les modèles d’IA s’amélioraient et devenaient plus intuitifs à utiliser. Un article de mars 2024 dans IEEE Spectrum a audacieusement proclamé que « l’ingénierie des prompts en IA est morte », suggérant que l’optimisation automatique des prompts rendrait bientôt les ingénieurs de prompts humains inutiles. L’article citait des recherches montrant que les prompts générés par l’IA surpassaient souvent ceux élaborés par des experts humains, amenant certains à remettre en question la viabilité à long terme du domaine.

Malgré ces critiques, les développements récents suggèrent que l’ingénierie des prompts est loin d’être morte ; elle évolue et devient plus sophistiquée. Drip Capital fournit un exemple convaincant de la manière dont l’ingénierie des prompts continue de jouer un rôle crucial dans l’exploitation de l’IA pour les opérations commerciales.

Drip Capital a créé un processus sophistiqué qui combine expertise technique et connaissance du domaine. Le succès de l’entreprise démontre que l’ingénierie des prompts efficace va au-delà de la simple rédaction de la chaîne de mots parfaite. Elle implique :

1. Comprendre le contexte commercial et les exigences spécifiques
2. Développer des stratégies pour maintenir l’exactitude et la fiabilité du système d’IA
3. Créer des stratégies de prompting complexes en plusieurs étapes pour des tâches avancées comme le traitement de documents
4. Collaborer avec des experts du domaine en finance et en évaluation des risques pour intégrer des connaissances spécialisées dans les interactions avec l’IA

Le système d’IA de l’entreprise ne fonctionne pas en isolation. Reconnaissant la nature critique de ses opérations financières, Drip Capital a mis en œuvre une approche hybride qui combine le traitement par IA avec une supervision humaine. « Nous avons maintenu une couche manuelle très nominale qui fonctionne de manière asynchrone », explique Mulgaonkar. Les documents seront numérisés par les LLMs, et le module approuvera provisoirement une transaction. Ensuite, en parallèle, nous avons des agents qui examinent les trois parties les plus critiques des documents.

Ce système humain dans la boucle fournit une couche de vérification supplémentaire, garantissant l’exactitude des points de données clés tout en permettant des gains d’efficacité significatifs. À mesure que la confiance dans le système d’IA grandit, Drip Capital vise à réduire progressivement l’implication humaine. « L’idée est que nous éliminons lentement cela également », déclare Mulgaonkar. « À mesure que nous continuons à recueillir des données sur l’exactitude, l’espoir est que nous obtenions suffisamment de confort et de confiance pour pouvoir nous en passer complètement. »

Maximiser l’utilisation des LLMs

Au-delà du traitement des documents, Drip Capital explore également l’utilisation de l’IA dans l’évaluation des risques. L’entreprise expérimente des modèles d’IA capables de prédire les projections de liquidité et le comportement de crédit en fonction de leurs vastes données de performance historique. Cependant, ils avancent prudemment dans ce domaine, conscients des exigences de conformité dans le secteur financier.

Boog explique leur approche de l’évaluation des risques : « L’idéal est d’arriver à une évaluation des risques complète… Avoir un moteur de décision qui vous donne une probabilité plus élevée de déterminer si ce compte est plus risqué ou non, et ensuite quelles sont les expositions. »

Cependant, Boog et Mulgaonkar soulignent que le jugement humain reste essentiel dans leur processus d’évaluation des risques, en particulier pour les anomalies ou les expositions plus importantes. « La technologie aide certainement, mais vous avez toujours besoin d’un élément humain pour superviser cela, surtout pour les risques », note Boog.

Le succès de Drip Capital dans l’implémentation de l’IA est en partie attribué à son avantage en matière de données. En tant qu’acteur établi dans le domaine du financement du commerce, ils ont accumulé une richesse de données historiques qui sert de base solide pour leurs modèles d’IA. Boog souligne cet avantage : « Parce que nous avons réalisé des centaines de milliers de transactions avant l’IA, il y a tant d’apprentissages dans ce processus. Et ensuite, en utilisant ces données que nous avons déjà pour continuer à optimiser les choses, cela nous aide définitivement. »

En regardant vers l’avenir, Drip Capital est prudemment optimiste quant à une intégration plus poussée de l’IA. Ils explorent des possibilités dans l’IA conversationnelle pour la communication avec les clients, bien que Mulgaonkar note que les technologies actuelles ne répondent pas encore à leurs exigences : « Je ne pense pas que vous puissiez avoir une conversation avec l’IA pour le moment. Elle a atteint le niveau d’un IVR très intelligent, mais ce n’est pas vraiment quelque chose qui peut être entièrement géré. »

Le parcours de Drip Capital avec l’IA offre des perspectives précieuses pour d’autres entreprises du secteur financier et au-delà. Leur succès démontre le potentiel de l’IA générative pour transformer les opérations lorsqu’elle est mise en œuvre de manière réfléchie, avec un accent sur les applications pratiques et un engagement à maintenir des normes élevées d’exactitude et de conformité.

À mesure que l’IA continue d’évoluer, l’expérience de Drip Capital suggère que les entreprises n’ont pas besoin de construire des systèmes d’IA complexes à partir de zéro pour en tirer des bénéfices significatifs. Au lieu de cela, une approche pragmatique qui tire parti des modèles existants, se concentre sur l’ingénierie des prompts et maintient une supervision humaine peut encore entraîner des améliorations substantielles en matière d’efficacité et de productivité.