L’intelligence artificielle s’installe dans les systèmes de santé plus vite que la gouvernance ne parvient à suivre. Le potentiel est clair : l’IA peut accélérer la production d’analyses, automatiser les tâches courantes et aider les équipes de données à sauver des vies. Cette même accélération, sans garde-fous, propage de nouveaux risques : biais dans les modèles, exposition des données, artefacts que personne ne comprend, décisions prises sans supervision humaine. Le déploiement est déjà en cours. La question ouverte est de savoir comment le faire de manière responsable, en renforçant la confiance dans le pipeline de données plutôt qu’en l’érodant.
La gouvernance d’une IA responsable est aujourd’hui essentielle pour les systèmes de santé.
La récente montée en puissance des capacités de l’IA, en particulier des systèmes d’IA agentique dotés de capacités d’appel de fonctions, et l’adoption de standards ouverts comme le Model Context Protocol (MCP), ont créé une réelle opportunité. Les modèles peuvent désormais accomplir des tâches complexes sur de longs horizons et excellent dans les travaux vérifiables comme le codage. Un agent IA fait en quelques minutes ce qui prenait autrefois plusieurs jours à un spécialiste. Plus de personnes produisant des analyses, plus vite : c’est précisément l’accélération qui peut sauver des vies.
Cette même capacité amplifie les défauts que portent ces modèles. Biais, hallucination, manque de représentativité : ce sont des modes de défaillance bien documentés des grands modèles de langage, qui ne disparaîtront probablement pas de sitôt. Un déploiement plus large signifie une diffusion plus large et plus profonde de ces défaillances. Une sortie erronée suivie d’effet en santé publique cause un préjudice qu’un processus correct ne peut réparer.
Les recommandations de l’Organisation mondiale de la santé sur l’éthique et la gouvernance de l’IA pour la santé proposent un cadre fondé sur six principes qui s’appliquent à tous les contextes de santé, de la décision clinique aux systèmes de surveillance en passant par les infrastructures de données de santé :
Ces principes se traduisent en choix d’architecture concrets sur la manière dont l’IA est conçue, déployée et gouvernée dans les systèmes de santé.
L’IA responsable fonctionne mieux comme une contrainte de conception que comme une liste de conformité à cocher. Voici les engagements de l’équipe pour concevoir et mettre en œuvre des agents IA dans OpenHEXA.
Rien de ce que le modèle ne peut pas voir ne peut fuiter par son intermédiaire. Le premier engagement se situe donc en amont : contrôler quelles données sont exposées à l’IA dès le départ. Par défaut, OpenHEXA doit appliquer la non-exposition : les données sensibles restent protégées, à moins que quelqu’un ne choisisse délibérément et en connaissance de cause de les exposer. Une limite n’admet aucune latitude : les identifiants, les clés d’API et les chaînes de connexion sont le chemin le plus rapide entre une seule erreur de l’IA et un système d’information sanitaire compromis. La plateforme applique elle-même cette limite plutôt que de la proposer comme un paramètre que les utilisateurs configurent.
Le raisonnement du modèle est opaque, et il le restera pour les grands modèles de langage. Sa production, elle, n’a pas à l’être.
Lorsqu’un agent IA crée un pipeline de données, un script de traitement ou une application web, cet artefact est du code. Le code peut être lu. Le code peut être audité. C’est un choix d’architecture délibéré : le travail agentique sur la plateforme aboutit toujours à des artefacts inspectables, jamais à des sorties en boîte noire auxquelles les utilisateurs doivent se fier aveuglément. Un pipeline écrit par un agent est exactement aussi lisible que celui écrit par une personne.
Mais il faut reconnaître que la lisibilité seule ne suffit pas. Exécuter du code n’est pas la même chose que se l’approprier. Une personne non technique à qui l’on remet un pipeline fonctionnel doit encore comprendre ce qu’il fait et pourquoi. C’est là que l’intelligibilité devient le vrai travail. La plateforme aide les utilisateurs à combler cet écart grâce à une journalisation détaillée qu’ils peuvent suivre, à des invites qui expliquent les artefacts générés et à une documentation produite en même temps que l’artefact. C’est un effort continu plutôt qu’un problème résolu : combler l’écart entre exécuter et s’approprier est le véritable défi de la démocratisation de l’IA.
En santé publique, une sortie erronée atteint les décisions via un pipeline d’aide à la décision et peut causer un préjudice évitable. Les sorties des agents OpenHEXA sont donc évaluées, principalement pour leur exactitude, et pour les applications web et les outils destinés aux utilisateurs, également pour la sécurité, les biais et la toxicité. L’évaluation est la principale défense contre les modes de défaillance que portent les modèles eux-mêmes : hallucination, biais, manque de représentativité.
L’évaluation ne peut pas rendre un modèle fiable. Mais elle peut intercepter la sortie non fiable avant qu’elle n’atteigne un décideur. C’est un filtre qui protège le jugement humain. Il répond au principe de sécurité et de bien-être.
Les utilisateurs peuvent toujours savoir où l’IA est employée, quel modèle a été exécuté, où il s’exécute et avec quels paramètres. Une IA non divulguée est une petite tromperie aux grandes conséquences dans un domaine où la confiance dans le pipeline de données est la confiance dans la décision qui en découle.
Deux risques institutionnels façonnent aussi la conception. Un ministère dont les données ne peuvent pas quitter le pays ne peut pas recourir à une API de pointe. Une organisation liée à un seul fournisseur place sa continuité à la merci des prix et de la disponibilité de ce fournisseur. La flexibilité d’OpenHEXA répond aux deux : apportez votre propre clé, options de déploiement local, standards ouverts comme MCP. La souveraineté et la durabilité sont au cœur de la conception de la plateforme.
Cela répond aux principes d’inclusion et de durabilité, en garantissant qu’une IA responsable reste accessible dans les contextes à faibles ressources et que les institutions conservent le contrôle de leur propre infrastructure.
Ces engagements constituent le fondement même de la plateforme, et non des contraintes imposées de l’extérieur.
Lorsqu’un ministère de la santé déploie l’IA dans un système de surveillance, un outil de gestion de campagne ou un registre des établissements de santé, les questions sont toujours les mêmes : à qui appartiennent les artefacts créés ? Puis-je lire le code ? Mes données sont-elles protégées ? Qui est responsable en cas de problème ? Puis-je déployer cela localement ? Puis-je quitter ce fournisseur si nécessaire ?
Ces questions sont devenues urgentes précisément parce que l’IA peut désormais faire davantage. Le pouvoir d’accélérer la production d’analyses amplifie aussi le pouvoir de nuire. Les institutions qui gèrent la santé publique ne peuvent pas se permettre de déployer des technologies dont elles ne comprennent pas les modes de défaillance, dont elles ne peuvent pas auditer les sorties, dont elles ne peuvent pas remplacer les fournisseurs, ou dont elles ne peuvent pas maîtriser la gouvernance.
Lorsque les plateformes de données sont conçues dès l’origine en pensant à l’autonomie, à la transparence, à la responsabilité et à la durabilité, les utilisateurs peuvent déployer l’IA en confiance. Non pas la certitude que l’IA est parfaite, mais la confiance de savoir, lorsqu’elle échoue, qu’ils le sauront et pourront agir en conséquence.
