Points de vigilance à partager avec vos partenaires
Principes d'usage de l'IA pour les industriels
Ce document complète la doctrine interne des usages de l'IA. Il est destiné à être partagé avec les éditeurs, intégrateurs et prestataires industriels qui conçoivent, hébergent ou opèrent des solutions intégrant de l'intelligence artificielle pour l'écosystème de santé numérique. Il fixe les principes attendus et les points de vigilance à anticiper dès la conception, avant toute contractualisation ou déploiement.
🤝 Principes d'usage attendus
Tout système IA proposé à l'ANS ou à son écosystème doit respecter les principes suivants.
Transparence
Toute fonctionnalité reposant sur l'IA doit être identifiée comme telle auprès des utilisateurs, avec une explicitation claire du rôle du modèle et de ses limites.
Supervision humaine
L'IA outille la décision, elle ne la remplace jamais dans un parcours de soins ou une décision impactant un usager, un agent ou un partenaire.
Maîtrise et localisation des données
Les données de santé traitées restent dans un cadre d'hébergement agréé (HDS) et ne servent jamais à l'entraînement d'un modèle tiers sans cadre contractuel explicite.
Sécurité et robustesse
Les systèmes IA sont conçus pour résister aux attaques spécifiques (injection de prompt, empoisonnement de données, exfiltration) et s'inscrivent dans une politique de sécurité alignée sur la PGSSI-S.
Conformité réglementaire
RGPD, AI Act (systèmes à haut risque en santé), marquage CE des dispositifs médicaux le cas échéant, référentiels ANS (CI-SIS, HDS, PGSSI-S).
Auditabilité et réversibilité
Chaque décision ou recommandation produite par un système IA doit être traçable et explicable ; les données doivent rester portables en cas de changement de solution.
⚠️ Points de vigilance
Des risques connus, à anticiper dès la conception plutôt qu'à découvrir en production.
Hallucinations et fiabilité
Une IA générative peut produire une réponse plausible mais fausse. Ce risque est critique en santé et doit être mitigé : garde-fous, relecture humaine, sources citées et vérifiables.
Biais algorithmiques
Un modèle entraîné sur des données non représentatives peut désavantager certains publics ou territoires. Des tests de biais doivent être menés et documentés.
Souveraineté et dépendance
Le recours à des modèles propriétaires étrangers, hébergés hors de France ou de l'UE, crée une dépendance et un risque de perte de maîtrise. Des clauses de réversibilité doivent être prévues.
Confidentialité et secret médical
Toute donnée de santé transmise à un service IA, y compris via des sous-traitants du fournisseur, engage la responsabilité de l'ensemble de la chaîne.
Dérive du modèle (drift)
Les performances d'un modèle peuvent se dégrader avec le temps ou l'évolution des usages. Un monitoring continu et des seuils d'alerte doivent être prévus.
Traçabilité insuffisante
Une décision IA non journalisée ne peut être ni contestée, ni auditée, ni corrigée. Les logs doivent être conservés et rester accessibles.
📋 Exigences documentaires attendues dans vos dossiers
Ces éléments doivent pouvoir être fournis à toute demande, dès la réponse à consultation.
- Nature, version et éditeur de chaque modèle IA utilisé.
- Lieu d'hébergement et de traitement des données (localisation, certification HDS).
- Dispositif de supervision humaine prévu sur les décisions ou recommandations produites.
- Résultats des tests de robustesse et de détection de biais.
- Modalités de traçabilité et de durée de conservation des logs.
- Conditions de réversibilité et de portabilité des données en fin de contrat.
- Procédure d'alerte en cas d'incident lié à l'IA (dérive, erreur critique, faille de sécurité).
📞 Contact
Ces principes ne remplacent pas un accompagnement au cas par cas. Pour toute question sur leur mise en œuvre, ou avant le déploiement d'une solution intégrant de l'IA, contactez l'ANS via le centre de services.