Lakera, une startup suisse, développe des technologies visant à protéger les applications d’IA générative contre les menaces et les requêtes malveillantes. Elle a récemment levé 20 millions de dollars lors d’un tour de financement de série A, dirigé par la société de capital-risque européenne Atomico.
Avec l’essor des applications d’IA générative comme ChatGPT, cette technologie est devenue emblématique du mouvement AI en pleine expansion. Cependant, des préoccupations subsistent, notamment en ce qui concerne la sécurité et la confidentialité des données dans les environnements d’entreprise.
Pour mieux comprendre, les modèles de langage de grande taille (LLMs) sont les moteurs de l’IA générative, permettant aux machines de comprendre et de produire du texte de manière similaire à un humain. Que ce soit pour composer un poème ou résumer un contrat légal, ces applications nécessitent des instructions pour orienter leur production. Cependant, ces « requêtes » peuvent être formulées de manière à tromper l’application, la poussant à divulguer des données confidentielles utilisées lors de son entraînement ou à accorder un accès non autorisé à des systèmes privés. Ces « injections de requêtes » représentent une menace croissante, que Lakera s’efforce de contrer.
Réponse aux requêtes
Fondée à Zurich en 2021, Lakera a officiellement lancé ses activités en octobre dernier avec un financement de 10 millions de dollars, promettant de protéger les organisations contre les vulnérabilités de sécurité des LLM, telles que les fuites de données ou les injections de requêtes. La technologie de Lakera est compatible avec tous les LLM, y compris GPT-X d’OpenAI, Bard de Google, Llama de Meta et Claude d’Anthropic.
Au cœur de son offre, Lakera se positionne comme un « pare-feu d’application IA à faible latence » qui sécurise le trafic entrant et sortant des applications d’IA générative.
Le produit phare de l’entreprise, Lakera Guard, repose sur une base de données qui compile des informations provenant de diverses sources, y compris des ensembles de données « open source » accessibles au public, des recherches internes en apprentissage automatique, et un jeu interactif qu’elle a développé, nommé Gandalf, qui invite les utilisateurs à tenter de le tromper pour révéler un mot de passe secret.
Le jeu devient de plus en plus complexe (et donc plus difficile à « pirater ») au fur et à mesure que les niveaux avancent. Ces interactions ont permis à Lakera de créer ce qu’elle appelle une « taxonomie des injections de requêtes », classant ces attaques en différentes catégories.
« Nous sommes axés sur l’IA, développant nos propres modèles pour détecter en temps réel les attaques malveillantes telles que les injections de requêtes, » a expliqué David Haber, co-fondateur et PDG de Lakera. « Nos modèles apprennent continuellement à partir d’un grand nombre d’interactions d’IA générative pour identifier à quoi ressemblent les interactions malveillantes. En conséquence, nos modèles de détection s’améliorent et évoluent en fonction du paysage des menaces émergentes. »
Selon Lakera, en intégrant leur application avec l’API Lakera Guard, les entreprises peuvent mieux se protéger contre les requêtes malveillantes. De plus, l’entreprise a développé des modèles spécialisés qui analysent les requêtes et les résultats des applications pour détecter des contenus toxiques, avec des détecteurs dédiés pour la haine, le contenu sexuel, la violence et les grossièretés.
« Ces détecteurs sont particulièrement utiles pour les applications publiques, comme les chatbots, mais sont également utilisés dans d’autres contextes, » a précisé Haber.
À l’instar de son ensemble d’outils de défense contre les requêtes, les entreprises peuvent intégrer les capacités de modération de contenu de Lakera avec une simple ligne de code et accéder à un tableau de bord de contrôle des politiques centralisé pour ajuster les seuils selon le type de contenu.
Avec un nouveau financement de 20 millions de dollars, Lakera est désormais prête à étendre sa présence à l’international, en particulier aux États-Unis. L’entreprise revendique déjà plusieurs clients de renom en Amérique du Nord, notamment la startup d’IA Respell et le méga-unicorne canadien Cohere.
« Les grandes entreprises, les sociétés SaaS et les fournisseurs de modèles d’IA s’efforcent tous de déployer des applications d’IA sécurisées, » a déclaré Haber. « Les organisations de services financiers comprennent les risques de sécurité et de conformité et sont des adopteurs précoces, mais nous constatons un intérêt croissant dans divers secteurs. La plupart des entreprises savent qu’elles doivent intégrer l’IA générative dans leurs processus commerciaux fondamentaux pour rester compétitives. »
En plus de son investisseur principal Atomico, le tour de financement de série A de Lakera a également vu la participation de l’entité de capital-risque de Dropbox, Citi Ventures et Redalpine.
