L'approche éthico-juridique de l'Intelligence Artificielle dans la relation médecin-patient

Article co-écrit avec Jérôme Beranger


Introduction :

En matière de santé, les outils d’Intelligence Artificielle (IA) [1] révolutionnent, dans les pays les plus industrialisés, l’organisation des soins et les conditions de prise en charge : structuration des connaissances médicales, aide au diagnostic, aide à la décision, traitements personnalisés, triage, planification chirurgicale, interventions assistées, suivi à distance, prothèses intelligentes, fluidification administrative et coordination automatisée… Les applications sont légion et bénéficient à l’ensemble des acteurs de la santé. L’IA assiste les médecins, améliore la qualité et la sécurité des soins médicaux et en réduit les coûts. Toutefois, comme relevé par l’OMS en juin 2021 concernant l’IA en santé, ces « opportunités sont liées à des défis et à des risques, notamment une collecte et une utilisation contraires à l’éthique de données relatives à la santé, les biais introduits dans les algorithmes et les risques pour la sécurité des patients, la cybersécurité et l’environnement. » [1].

Dans ce contexte, la réglementation et en particulier ses exigences éthiques constitue la pièce maîtresse du développement de l’IA en Santé, à l’égard de la maîtrise des risques, du niveau de confiance à lui accorder, et de son acceptabilité. Ce chapitre s’attachera à présenter, par les regards croisés de l’éthicien et de l’avocat, les principaux objectifs, exigences et préconisations applicables aux différents acteurs et différentes étapes du cycle de vie des systèmes d’IA, ainsi que les moyens et les préconisations à mettre en œuvre.


1. L’éthique au chevet des solutions d’Intelligence Artificielle en santé

Aujourd’hui, les progrès technologiques effectués permettent de traiter, stocker et diffuser l’information sous toutes ses formes, orales, écrites ou visuelles, en s’affranchissant de plus en plus de toutes contraintes de distance, de volume et de temps. Les données de santé peuvent être générées par des systèmes d’information hospitaliers, des applications Santé sur Smartphone [2], des plateformes de réseaux sociaux de santé [3], des technologies de surveillance [4] [5], des capteurs à domicile [6], des forums et moniteur de recherche en ligne. Dès lors, ce nouveau monde des données numériques – qui alimentent les applications d’Intelligence Artificielle (IA) – étudie en permanence le monde réel dans l’objectif de créer de la prévisibilité et de la prédictibilité. Nous sommes confrontés à un avenir où tout va être prévisible par autrui, via les algorithmes de traitement et d’analyse et la manière dont nous interagissons par Internet. Ce constat s’applique totalement dans le secteur de la santé. Désormais, nous rentrons dans l’ère de la médecine dite « 4.0 » s’appuyant sur d’importants volumes de données (ou Big Data) médicaux, les algorithmes, la télémédecine et l’e-santé, les systèmes experts et les IA afin de tendre vers une médecine plus individualisée, personnalisée et prédictive.

1.1. La place de l’Intelligence Artificielle dans la relation médecin-patient

L’IA est considérée comme la 4ème révolution industrielle en particulier en santé car elle bouleverse les pratiques médicales et managériales [7]. Cette solution digitale pourrait permettre au médecin d'optimiser de manière importante le temps qu'il passe à analyser les images reçues, et ainsi libérer du temps pour recevoir au cabinet les patients qui auront le plus besoin de son expertise pointue, son écoute, et ses explications. Comme dans d'autres secteurs, cette réorganisation du temps médical devrait bénéficier aux patients comme aux médecins généralistes (montée en compétences, meilleure valorisation des actes complexes, etc.). Ainsi, les spécialités médicales – telles que : la radiologie, la cardiologie, l’ophtalmologie, la santé mentale ou les maladies chroniques – sont le « terrain de jeu naturel » de l’IA. La médecine digitale est considérée comme un soutien et une aide à l’efficience de certaines spécialités médicales dont la démarche diagnostique s’appuie en grande partie sur l’imagerie, telles que : la dermatologie, la radiologie, l’ophtalmologie, la cardiologie, l’endoscopie digestive et bronchique, etc.). Pour illustrer ce progrès, nous pouvons donner l’exemple de la chirurgie robotisée qui permet aux chirurgiens de réaliser avec succès certains actes chirurgicaux complexes où l’agilité et la précision de la main humaine se révèle insuffisante. Le robot chirurgical dirigé par des systèmes algorithmiques, mais toujours accompagné par un chirurgien, engendre une plus grande égalité des chances dans certaines pratiques chirurgicales. On peut citer également l’exemple du diagnostic différentiel en dermatologie entre des tumeurs bénignes et des tumeurs malignes de la peau, permettant d’éviter la biopsie cutanée ou d’avancer le diagnostic histologique.

Dans ces conditions, le champ des possibles est considérable et nous ne pouvons aujourd’hui qu’entrevoir les importantes mutations que génère l’avènement du numérique en santé. Cette convergence entre l’innovation technologique et la recherche scientifique, entre le numérique, les mathématiques et le progrès médical, aura des répercussions directes sur une pratique médicale jusqu’à présent et majoritairement fondée sur l’acte médical.

Toutefois, la tentative de substitution du médecin par la machine se termine là où l’action psychologique du praticien reste nécessaire. Cet acte se situe à trois instants clé de la relation, où la négociation est essentielle entre le médecin et le malade. Cette négociation est basée sur la valeur humaine du soignant qu’on peut appeler « empathie », et grâce à laquelle s’installe la confiance dans l’esprit du malade, génératrice d’un effet placebo qui participe de la faculté du patient à trouver en lui-même les moyens de sa guérison. Sur ces trois moments où l’empathie du médecin est irremplaçable, l’application digitale ne pourra pas intervenir, si ce n’est qu’en tant qu’aide et appoint à la décision médicale. On parle alors ici d’intelligence humaine augmentée. Cette IA portée par la machine reste encore de l’IA dite « faible » : elle n’apprend que de manière supervisée [2], elle ne comprend rien à ce qu’elle fait, elle n’a pas les aptitudes à inventer et à s’adapter autrement que par essais basés sur le hasard, et elle n’a aucune conscience d’elle-même, toutes capacités qui sont le propre de l’intelligence humaine. L’IA est promise à un bel avenir lorsqu’elle apporte des connaissances en temps réel aidant le médecin à retrouver des cas similaires et des résultats scientifiques concernant les traitements utiles dans le respect de la relation de soin.

Dès lors, une série de questions relatives à la mise en application de l’IA dans notre système de santé s’imposent inéluctablement à nous : L’introduction des algorithmes dans le champ de la santé impacte-elle la relation médecin-patient ? Doit-on informer les personnes des risques de maladies qu’elles courent suite au séquençage de leur génome ? Les algorithmes d’exploitation de données numériques à caractère personnel ne vont-ils pas déboucher vers une nouvelle vague d’inégalités, de catégorisation, de discrimination et d’injustices au sein de la société ? Un algorithme est-il loyal vis-à-vis de la société ? Sa finalité sert-elle un intérêt collectif et protection des personnes ou un intérêt plus personnel ? Est-il digne de confiance ? La machine respect-il la dimension humaine des données qu’il exploite ? Comment se préparer aux bouleversements et aux conséquences que l’IA va entraîner dans de nombreux domaines de la médecine contemporaine ? Un algorithme est-il plus fiable que la décision humaine, et doit-il se substituer et prendre l’ascendant sur la décision humaine ? Les algorithmes sont-ils les nouveaux décideurs ?

1.2. La vigilance éthique au cœur de la médecine digitale

Les nouvelles technologies de l’information et la communication sont porteuses d’enjeux, de risques et d’opportunités, d’espoirs et d’inquiétudes. Elles bouleversent le rapport à l’autre par un phénomène de virtualisation et d’amplification des échanges et des communications, mais également de quantification et d’évaluation de plus en plus transversales. La digitalisation de nos vies est ressentie sans que nous n’en percevions toutes les répercussions et les conséquences. Cette imprégnation et cette invisibilité du numérique accroissent sa faculté de transformation. Dans le domaine médical, cela est très significatif, la numérisation modifie et interroge durablement la relation individuelle et collective impliquées dans la prise en charge des soins. Il devient alors décisif d’anticiper ces évolutions numériques et de nous interroger sur : la redéfinition du rapport à soi et aux autres dans la relation médecin-patient ; les moyens pour respecter l’autonomie des personnes et pour lutter contre la fracture numérique ; la capacité de rester souverains dans nos choix médicaux ; les conditions pour exercer notre libre arbitre dans une alliance thérapeutique tripartite entre le soignant, le soigné et la machine ; la soutenabilité sociale, économique et environnementale des développements des applications digitales.

L’éthique est une réflexion en continue, en mouvance, évolutive, nourrie par l’histoire de la pensée et associée à une culture. Elle identifie et questionne les normes et les valeurs morales, met en évidence leurs éventuels conflits, pour éclairer des choix individuels ou/et collectifs. L’éthique appliquée au numérique interroge en permanence nos valeurs à l’aune de situations inédites d’usage des technologies, avec une dimension radicalement nouvelle d’ubiquité et d’universalité de leurs effets et impacts dans la société. Ce regard éthique oblige les acteurs de notre système de santé à formuler au fil de l’eau de nouveaux questionnements sur l’usage et le suivi des applications digitales.  Il impose aussi l’ensemble de la société à revoir un corpus de normes et de valeurs humaines qui apparaissent sous un nouveau jour : par exemple le droit au secret médical, le droit à l’information et à la transparence, la décision médicale partagée, etc.

Des préoccupations éthiques pressantes associées à l’impact de l’IA sur nos sociétés émergent avec le recours grandissant aux algorithmes pour étudier un nombre croissant de données liées à la santé, ainsi que la réduction de la supervision humaine de nombreux dispositifs automatisés [8] [9] comme :

• Le manque de transparence au regard des décisions algorithmiques [10] [11] ;
• Les biais que pourraient perpétuer les algorithmes [12] [13] ;
• L’utilisation sécuritaire des solutions d’IA et des potentiels mésusages [14] ;
• Le risque d’exclusion de certaines catégories de la population – comme les personnes âgées ou les personnes socio-économiquement désavantagés – seraient moins enclines à la connectivité [12] [15] [16].

Enfin, l’usage des solutions d’IA s’accompagne aussi de préoccupations liées à une certaine déshumanisation du soin [17]. Cela pourrait se manifester, soit par une relation de soins déshumanisante associée à la diminution du contact humain [18] [17], soit par un patient déshumanisé considérant les répercussions du numérique sur l’identité, l’individualité, l’authenticité et le respect de la personne. L’automatisation des tâches médicales pourrait même transformer la perception de l’exercice de la médecine, d’une part, avec un potentiel glissement de la perception des humains comme des objets et du soin comme d’un produit, et d’autre part, avec la transformation de la perception que les soignants ont d’eux-mêmes en automatisant leur travail (qui seraient alors réduit à celui des machines et aboutirait à des patients « Managed and Processed ») [17] [19]. Cela aura pour impact un appauvrissement des aspects émotionnels, psychologiques, et d’écoute essentiels, des compétences sociales (comme l’empathie, la compassion, et l’introspection), en plus d'une expertise médicale plus formelle, à la qualité des soins [17] ainsi qu’à la confiance entre soigné et soignant. Notons que la distance à l’origine de la déshumanisation des soins pourrait aussi être favorisée par un isolement des malades. Cet isolement serait la conséquence soit de l’exclusion de personnes (dites vulnérables) laissées à disposition des machines, soit des personnes qui pourraient s’isoler elles-mêmes en préférant interagir avec des machines (notamment avec des robots « empathiques ») [19] [20] [21].

1.3. Les préconisations éthiques relatives à l’Intelligence Artificielle

Afin de pouvoir analyser puis apporter des recommandations sur cette nouvelle relation tripartite médecin-patient-IA, nous avons élaboré et mis en place une approche néodarwinienne intitulée Ethics by Evolution [3][22] en croisant différentes familles d’éthique appliquées au numérique [23] [24] [25], avec les quatre principes éthiques universels (Bienfaisance – Autonomie – Non-malfaisance – Justice) de Beauchamp et Childress [26] :

• L’Éthique de la Donnée :

L’éthique de la donnée aborde l’identification des données traitées par l’algorithme et les échanges de ces données (Cf. Supervision et traçabilité des données) [4]. Il s’agit du domaine qui concerne la construction, la nature et les caractéristiques relatives aux données numériques.

Principe d'Autonomie
L’usager de santé doit être le principal décideur de ses données personnelles

Principe de Bienfaisance
La collecte, le stockage et l’usage des données doivent avoir un rapport coût-bénéfice positif pour l’usager de santé

Principe de Non-malfaisance
La collecte, le stockage et l’usage des données ne doivent pas nuire à l’usager de santé

Principe de Justice
La collecte, le stockage et l’usage des données doivent permettre une amélioration soutenable des soins dans des situations similaires et proportionnée pour les autres usagers de santé, et ce, avant tout autre bénéficiaire

• L’Éthique de l’Algorithme :

L’éthique de l’algorithme est appliquée aux opérations et aux processus associés à l’exploitation des données numériques durant tout le long de leur cycle de vie ; En d’autres termes, au fonctionnement, à la robustesse, aux biais, aux performances, à l’interprétabilité de l’algorithme à une échelle suffisante pour comprendre ce qu’il fait réellement (Cf. Black Box).

Principe d'Autonomie
L’algorithme doit avoir pour objectif d’accroître le contrôle des usagers de santé sur leur vie et leur environnement

Principe de Bienfaisance
L’algorithme doit déboucher sur une action bénéfique, utile et pertinente, et délivre une information claire et compréhensible pour l'usager de santé

Principe de Non-malfaisance
L’algorithme doit permettre d’éviter la souffrance et le préjudice pour l’usager de santé

Principe de Justice
L’algorithme doit susciter ni biais, ni discriminations, ni toutes formes d’exclusion pour l'usager de santé

• L’Éthique des Systèmes :

L’éthique des systèmes repose sur l’ergonomie, le Design, et les fonctionnalités de l’architecture technologique du système d’information.

Principe d'Autonomie
Le Design de la solution digitale doit être adapté aux compétences et niveau de compréhension de son utilisateur (Professionnel de santé / Usager de santé)

Principe de Bienfaisance
L'interface Homme-Machine et ses fonctionnalités doivent être cohérentes et performantes

Principe de Non-malfaisance
Le système d'information ne doit pas avoir des dysfonctionnements et des fonctionnalités contraignantes pour son utilisateur (Professionnel de santé / Usager de santé)

Principe de Justice
Le Design de la solution numérique doit être adapté et accessible à différents profils d'utilisateurs (actifs, personnes âgées, handicapés, étrangers, …)

• L’Éthique de l’Environnement :

L’éthique de l’environnement analyse des diverses interactions et impacts en fonction de l’écosystème ambiant via des paramètres contextuels, écologiques et environnementaux, sociétaux, économiques, religieux, sanitaires, historiques, voir géopolitiques.

Principe d'Autonomie
L'application numérique doit répondre aux attentes et besoins de son utilisateur (Professionnel de santé / Usager de santé)

Principe de Bienfaisance
La solution digitale doit être efficace et pratique pour le quotidien de l'utilisateur (Professionnel de santé / Usager de santé) voir pour son entourage et les aidants

Principe de Non-malfaisance
La solution numérique ne doit pas avoir un impact carbone et environnemental négatif

Principe de Justice
La relation tripartite médecin-patient-machine doit être équilibrée, c'est-à-dire que la machine doit répondre aux attentes du patient et aux exigences du médecin

• L’Éthique des Pratiques :

L’éthique des pratiques aborde les explications sur la qualité des résultats de l’algorithme, la finalité et des usages du traitement de données numériques.

Principe d'Autonomie
L'application digitale doit préserver la capacité de penser, de décider et d’agir librement de son utilisateur (Professionnel de santé / Usager de santé)

Principe de Bienfaisance
La solution digitale doit promouvoir ce qui est le plus bénéfique et bienfondé pour l’usager de santé

Principe de Non-malfaisance
La solution numérique ne doit pas causer de préjudices auprès de l'utilisateur (Professionnel de santé / Usager de santé)

Principe de Justice
L'application digitale doit permettre une égalité de traitement des personnes, et une prise en charge collective et inclusive des soins

• L’Éthique des Décisions :

L’éthique des décisions repose sur les impacts sociétaux relatifs aux personnes (professionnels de santé et patients) et à l’environnement.

Principe d'Autonomie
La solution digitale doit être une aide à la décision médicale

Principe de Bienfaisance
La solution numérique doit permettre une décision médicale plus précise, adaptée et personnalisée

Principe de Non-malfaisance
La solution digitale ne doit pas délivrer une information et un résultat faux, biaisés et non pertinents

Principe de Justice
L'application digitale ne doit pas diluer la responsabilité du professionnel de santé

• L’Éthique de la Condition humaine :

L’éthique de la condition humaine traite de l’évolution de la nature, de l’identité, l’existence, la moralité, le libre arbitre, et la conscience de l’être humain confronté aux solutions digitales (notamment d’IA).

Principe d'Autonomie
Le professionnel de santé ne doit pas avoir une dépendance technologique

Principe de Bienfaisance
L'application digitale doit permettre à l'utilisateur (Professionnel de santé / Usager de santé) de renforcer son action et lien humain avec la société

Principe de Non-malfaisance
L'application numérique ne doit pas remplacer totalement le professionnel de santé, et doit toujours rester associée à une supervision et garantie humaine

Principe de Justice
La solution digitale doit permettre une prise en charge de soins plus solidaire auprès de l'ensemble de la société

En définitive, la prise de conscience progressive de la puissance que peuvent avoir des dispositifs de décision automatiques médicales provoque donc autant d’espoirs que de craintes légitimes. Ces applications intelligentes tendent à faire évoluer le rôle du professionnel de santé dans le processus décisionnel médical. Une partie des difficultés est également la conséquence du phénomène de « boite noire », que les professionnels de l’IA ont aujourd’hui l’obligation d’ouvrir afin de rendre explicable le résultat obtenu. Les questions éthiques que ces machines génèrent sont au cœur non seulement de la confiance dans ces dispositifs artificiels, mais également d’enjeux en termes économiques. L’IA représente une nouveauté pour les usagers de santé, le manque de transparence dans ce secteur pourrait nuire à la relation fiduciaire entre les malades et les fournisseurs de soins.

Nous avons la conviction que la médecine intègrera toujours une part essentielle de relations humaines et ne pourra jamais s’en remettre totalement à des « décisions » prises par des algorithmes, même hautement performants et fiables, mais dénués de nuances, de compassion et d’empathie [27]. A partir de cet éclairage, il convient alors de repenser notre façon d’aborder la médecine numérique, l’usage de l’IA et ses impacts dans le secteur de la santé. Protéger la confidentialité et le secret médical imposent que les utilisateurs de ces systèmes experts médicaux deviennent plus responsables de leurs faits et actes. L’individu doit pouvoir bien appréhender son environnement numérique pour une parfaite maitrise de ses applications. Si un cadre, un accompagnement, et une formation éthique détaillés ne sont pas mis en place auprès des acteurs de notre système de santé, alors le plafond de verre éthique aura explosé sans pouvoir y changer quelque chose.


2. Regard juridique sur la relation médecin-patient dans le cadre de l’Intelligence Artificielle

Parmi les outils d’intelligence artificielle (IA) utilisés dans le domaine de la santé, ou destinés à l’être, les systèmes d’intelligence artificielle cristallisant le plus de craintes sont celles susceptibles de remplacer le médecin dans la réalisation d’actes médicaux diagnostiques et thérapeutiques.

En effet, comment s’assurer que les résultats fournis par les algorithmes ne soient utilisés que comme une aide, et n’aboutissent pas à une perte d’autonomie des médecins et/ou à un appauvrissement de l’acte médical ?

Comment donner aux médecins les moyens d’apprécier les résultats, et, le cas échéant, de s’en départir ?

C’est pour apporter des réponses et un premier cadre face à ces risques et craintes, qu’un cadre légal s’impose.

2.1. Cadre juridique français

Ainsi, des dispositions spécifiques de la Loi Bioéthique [28] ont été adoptées, et introduites à l’art. L4001-3 du Code de la Santé Publique :

« I.-Le professionnel de santé qui décide d'utiliser, pour un acte de prévention, de diagnostic ou de soin, un dispositif médical comportant un traitement de données algorithmique dont l'apprentissage a été réalisé à partir de données massives s'assure que la personne concernée en a été informée et qu'elle est, le cas échéant, avertie de l'interprétation qui en résulte.

II.-Les professionnels de santé concernés sont informés du recours à ce traitement de données. Les données du patient utilisées dans ce traitement et les résultats qui en sont issus leur sont accessibles.

III.-Les concepteurs d'un traitement algorithmique mentionné au I s'assurent de l'explicabilité de son fonctionnement pour les utilisateurs.

IV.-Un arrêté du ministre chargé de la santé établit, après avis de la Haute Autorité de santé et de la Commission nationale de l'informatique et des libertés, la nature des dispositifs médicaux mentionnés au I et leurs modalités d'utilisation. »

Ces dispositions visent ainsi à la supervision humaine, aussi appelée garantie humaine, imposant :

• d’une part, au professionnel de santé d’informer le patient du recours à une solution d’intelligence artificielle dans le cadre d’un acte de prévention, de diagnostic ou de soins, et le cas échéant du résultat qui en résulte, et,
• d’autre part, au concepteur de l’algorithme de s’assurer de l’explicabilité de son fonctionnement pour les utilisateurs.

La première exigence pose une obligation d’information du patient par le professionnel de santé.

Elle permet ainsi l’instauration d’un échange entre le médecin et son patient sur l’utilisation d’une solution d’intelligence artificielle et le résultat associé, et donc par la même, invite le médecin à motiver à l’égard du patient son choix de suivre la recommandation l’intelligence artificielle ou de s’en départir, et à s’approprier l’acte médical diagnostique ou thérapeutique.

La seconde exigence vise à s’assurer que le médecin dispose des informations nécessaires et suffisantes pour comprendre le fonctionnement de la solution d’intelligence artificielle, et ainsi à lui permettre de s’approprier le résultat, et de s’en écarter le cas échéant.

Enfin, en prévoyant « Les professionnels de santé concernés sont informés du recours à ce traitement de données. Les données du patient utilisées dans ce traitement et les résultats qui en sont issus leur sont accessibles. », le texte pose une obligation de traçabilité de la décision augmentée, visant à permettre aux « professionnels concernés », c’est à dire ceux participant à la prise en charge, d’être en mesure d’évaluer la pertinence de l’acte, « augmenté » par la solution d’intelligence artificielle, d’un médecin, et de s’assurer qu’il a bénéficié de l’autonomie nécessaire par rapport à l’algorithme.

2.2. Cadre juridique européen en construction

La Proposition de règlement du parlement européen et du conseil établissement des règles harmonisées concernant l’intelligence artificielle (législation sur l’intelligence artificielle), visant au développement d’un marché unique de solutions d’intelligence artificielle légales, sûres et dignes de confiance, propose également d’encadrer cette supervision humaine, notamment dans le cadre de l’utilisation de systèmes d’intelligence artificiel à haut risque - dont en particulier les systèmes d’intelligence artificielle constituant ou intégrées à des dispositifs médicaux - fixant des exigences de :

• Transparence et fourniture d’informations aux utilisateurs [29] « pour permettre aux utilisateurs d’interpréter les résultats du système et de l’utiliser de manière appropriée ».

Ainsi, les systèmes d’intelligence artificielle à haut risque doivent être accompagnés d’une notice d’utilisation dans un format numérique approprié ou autre, contenant des informations concises, complètes, exactes et claires, qui soient pertinentes, accessibles et compréhensibles pour les utilisateurs (aux caractéristiques similaire aux exigences du règlement général sur la protection des données à l’égard des informations relatives aux traitements de données personnelles) décrivant les caractéristiques du système d’intelligence artificielle, dont capacités, limites, destination d’usage, performances, durée de vie attendue, données d’entrée, d’entraînement, de validation, et les mesures de contrôle humain notamment les mesures techniques mises en place pour faciliter l’interprétation des résultats des systèmes d’IA par les utilisateurs ;

• Contrôle humain dès la conception [30] : « notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant la période d’utilisation du système d’IA », visant à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent survenir lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible.

Le contrôle humain doit être assuré au moyen de mesures donnant aux personnes chargées d’effectuer un contrôle humain (les professionnels de santé), en fonction des circonstances, la possibilité :

• d’appréhender totalement les capacités et les limites du système d’intelligence artificielle à haut risque et d’être en mesure de surveiller correctement son fonctionnement, afin de pouvoir détecter et traiter dès que possible les signes d’anomalies, de dysfonctionnements et de performances inattendues ;
• d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux résultats produits par un système d’intelligence artificielle à haut risque («biais d’automatisation»);
• d’être en mesure d’interpréter correctement les résultats du système d’intelligence artificielle à haut risque, compte tenu notamment des caractéristiques du système et des outils et méthodes d’interprétation disponibles;
• d’être en mesure de décider, dans une situation particulière, de ne pas utiliser le système d’intelligence artificielle à haut risque ou de négliger, passer outre ou inverser le résultat fourni par ce système;
• d’être capable d’intervenir sur le fonctionnement du système d’intelligence artificielle à haut risque ou d’interrompre ce fonctionnement au moyen d’un bouton d’arrêt ou d’une procédure similaire.

Grâce à ces informations et mesures, les utilisateurs de systèmes d’intelligence artificielle à haut risque doivent être en capacité de les utiliser de manière sécurisée.

De leur côté, ils sont tenus de les utiliser conformément aux notices d’utilisation accompagnant les systèmes à exercer un contrôle sur les données d'entrée, et de veiller à ce que ces dernières soient pertinentes au regard de la destination du système d’intelligence artificielle à haut risque.

Ils doivent également surveiller le fonctionnement du système d’intelligence artificielle à haut risque sur la base de la notice d’utilisation [31], et lorsqu’ils ont des raisons de considérer que l’utilisation conformément à la notice d’utilisation peut avoir pour effet que le système d’intelligence artificielle présente un risque, ils en informent le fournisseur ou le distributeur et suspendent l’utilisation du système, de même lorsqu’ils constatent un incident grave ou un dysfonctionnement et ils interrompent l’utilisation du système d’intelligence artificielle.

Il en résulte également des obligations de tenue et conservation, pendant une période appropriée à la destination des systèmes, des journaux générés automatiquement par ce système d’intelligence artificielle à haut risque et utiliser les informations fournies dans le cadre de l’exigence de transparence des fournisseurs pour se conformer à leur obligation de procéder à une analyse d’impact relative à la protection des données.

Le texte prévoit des sanctions dissuasives, la non-conformité du système d’IA avec les exigences relatives à la transparence et la supervision humaine, faisant l’objet d’une amende administrative pouvant aller jusqu’à 20 000 000 € ou, si l’auteur de l’infraction est une entreprise, jusqu’à 4 % de son chiffre d’affaires annuel mondial total réalisé au cours de l’exercice précédent, le montant le plus élevé étant retenu.

Les dispositions susvisées de la Loi de Bioéthique, et la proposition de législation sur l’intelligence artificielle s’inscrivent dans la droite ligne des travaux de la commission européenne et constituent une fidèle traduction juridique des recommandations de l’OMS dans son premier rapport mondial sur l’intelligence artificielle (IA) appliquée à la santé publié le 28 juin 2021, et proposant six principes directeurs relatifs à sa conception et à son utilisation, parmi lesquels « Protéger l’autonomie de l’être humain », « Garantir la transparence, la clarté et l’intelligibilité » et « Encourager la responsabilité et l’obligation de rendre des comptes ». 


Bibliographie :

[1] OMS. (2021). Ethics and Governance of Artificial Intelligence for Health ; Rapport ; 28 juin.

[2] Boyd, D., & Crawford, K. (2012). Critical Questions for Big Data: Provocations for a cultural, technological, and scholarly phenomenon. Information Communication & Society, 15(5), p. 662–679.

[3] Costa, F. F. (2014). Big data in biomedicine. Drug Discovery Today, 19(4), p. 433–440.

[4] Mittelstadt B. D, Fairweather N. B, McBride N, et Shaw M. (2011). Ethical issues of personal health monitoring: A literature review. In ETHICOMP ; conference proceedings (pp. 313–321). Presented at the ETHICOMP 2011, Sheffield, UK.

[5] Mittelstadt, B. D., Fairweather, N. B., McBride, N., & Shaw, M. (2013). Privacy, risk and personal health monitoring. In ETHICOMP 2013 conference proceedings (pp. 340–351). Presented at the ETHICOMP 2013, Kolding, Denmark.

[6] Niemeijer A. R, Frederiks B. J, Riphagen I. I, Legemaate J, Eefsting J. A, et Hertogh C. M. (2010). Ethical and practical concerns of surveillance technologies in residential care for people with dementia or intellectual disabilities: An overview of the literature. International Psychogeriatrics, 22, p. 1129–1142.

[7] FHF. (2018). Intelligence artificielle : Quels impacts et perspectives pour l’Hôpital ?, le Magazine de la FHF. n°38, Hiver, p. 13 à 17.

[8] Floridi, L, et Taddeo M. (2016). « What Is Data Ethics? » Philosophical Transactions of the Royal Society A-Mathematical Physical and Engineering Sciences 374 (2083): 20160360.

[9] Cath C, Wachter S, Mittelstadt B, Taddeo M, et Floridi L. (2016). Artificial Intelligence and the “Good Society”: The US, EU, and UK Approach. SSRN Scholarly Paper ID 2906249. Rochester, NY: Social Science Research Network.

[10] Ananny M, et Crawford K. (2018). Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society ; 20 (3): 973‑89.

[11] Selbst A, et Barocas S. (2018). The Intuitive Appeal of Explainable Machines. SSRN Scholarly Paper ID 3126971. Rochester, NY: Social Science Research Network.

[12] Kim P. (2016). Data-Driven Discrimination at Work. William & Mary Law Review ; 58: 857‑936.

[13] Friedler S, Scheidegger C, et Venkatasubramanian S. (2016). « On the (im)possibility of fairness ». arXiv:1609.07236 [cs, stat], septembre.

[14] Brundage M, Avin S, Clark J, Toner H, Eckersley P, Garfinkel B, Dafoe A, Scharre P, Zeitzoff T, et Filar B. (2018). « The malicious use of artificial intelligence: Forecasting, prevention, and mitigation ». arXiv preprint arXiv:1802.07228.

[15] Campolo, A, Sanfilippo M, Whittaker M, et Crawford K. (2017). « AI Now 2017 Report ». https://ainowinstitute.org/AI_Now_2017_Report.pdf.

[16] Mittelstadt B, et Floridi L. (2016) b. « The Ethics of Big Data: Current and Foreseeable Issues in Biomedical Contexts ». Science and Engineering Ethics ; 22 (2): 303‑41.

[17] Coeckelbergh M. (2015). Artificial Agents, Good Care, and Modernity. Theoretical Medicine and Bioethics ; 36 (4): 265‑77.

[18] Nakrem S, Solbjør M, Ida Pettersen N, et Kleiven H. (2018). « Care relationships at stake? Home healthcare professionals’ experiences with digital medicine dispensers – a qualitative study ». BMC Health Services Research 18 (janvier).

[19] Voarino N. (2019). Systèmes d’intelligence artificielle et santé : les enjeux d’une innovation responsable. Thèse doctorale ; Faculté de médecine de Montréal ; pp. 356.

[20] Devillers L. (2017). « Des robots et des hommes: Mythes, fantasmes et réalité». Plon ; Paris.

[21] Coeckelbergh M. (2012). « “How I Learned to Love the Robot”: Capabilities, Information Technologies, and Elderly Care ». Dans The Capability Approach, Technology and Design, édité par Ilse Oosterlaken et Jeroen van den Hoven, 77‑86. Philosophy of Engineering and Technology. Dordrecht: Springer Netherlands.

[22] Béranger J. (2021). Comment concilier éthique et intelligence artificielle ? ActuIA ; n°5 ; p.59.

[23] Rougé-Bugat ME et Béranger J. (2021). La relation médecin généraliste-patient face à la numérisation de la médecine. DSIH ; Février.

[24] Rougé-Bugat ME et Béranger J. (2021). Evolution de la relation médecin généraliste-patient à l’heure de la médecine digitale : Cas de la prise en charge du patient atteint de cancer. Les tribunes de la santé ; n°68.

[25] Rougé-Bugat ME et Béranger J. (2021). Evolution et impact du numérique dans la relation médecin généraliste-patient : Cas du patient atteint de cancer. Revue officielle de l’Académie Nationale de Médecine ; Juillet.

[26] Beauchamp T. L, Childress J. (2001). Principles of Biomedical Ethics. 5ème edition ;  Oxford University Press, New-York / Oxford.

[27] Hervé C, et Stanton-Jean M. (2018). Innovations en santé publique, des données personnelles aux données massives (Big data) : Asp.

[28] Code la Santé Publique, article L4001-3, issu de la LOI n° 2021-1017 du 2 août 2021 relative à la bioéthique, article 17

[29] Projet de législation sur l’intelligence artificielle, article 13

[30] Projet de législation sur l’intelligence artificielle, article 14

[31] Projet de législation sur l’intelligence artificielle, article 29

[31] Projet de législation sur l’intelligence artificielle, article 71, 4

[1] La norme ISO 2382-28 : 1995 définit l’IA comme étant la « capacité d’une unité fonctionnelle à exécuter des fonctions généralement associées à l’intelligence humaine, telles que le raisonnement et l’apprentissage ».

[2] Elle ne peut distinguer les faux positifs et les faux négatifs.

[3] Cela consiste à intégrer des règles et exigences éthiques dès la conception, l’apprentissage, la mise en place, l’usage, et le suivi d’une solution digitale.

[4] L'exhaustivité, l'exactitude, l'uniformité, l'intemporalité, la duplication, la validité, la disponibilité et la provenance de la donnée doivent être tenues en considération dans le cadre d’une analyse approfondie.