Demander à l'IA

MHTS : pourquoi c'est nécessaire

Pourquoi une norme de sécurité dédiée s'imposait : les risques d'exploitation psychologique et de manipulation comportementale, et l'insuffisance des garanties, dans les technologies qui touchent des personnes émotionnellement vulnérables.

Les technologies numériques peuvent rendre le soutien en santé mentale plus accessible, mais leur conception peut aussi introduire des risques, particulièrement importants lorsque les personnes qui les utilisent ont peur, sont submergées ou se trouvent, d'une autre manière, en situation de vulnérabilité émotionnelle. Pourtant, aucune norme de sécurité ne fixait de garanties de conception spécifiques à ces technologies : MHTS est la première à le faire, au moyen d'exigences structurelles et éthiques explicites.

Les lacunes des normes existantes

MHTS a été créé parce qu'aucune norme de sécurité ne fixait de garanties de conception spécifiques aux technologies numériques de santé mentale. Les applications de santé mentale ont été décrites comme très insuffisamment encadrées, les normes existantes étant pour l'essentiel générales : elles s'appliquent de façon large aux applications de santé, à la santé numérique ou aux systèmes d'IA, et non spécifiquement aux technologies de santé mentale.1

Même les National Safety and Quality Digital Mental Health Standards australiennes, qui s'appliquent aux services numériques de santé mentale, restent générales et centrées sur les processus : elles fixent des exigences de gouvernance pour les prestataires de services, et non la manière dont la technologie elle-même doit être conçue.2 Aucun de ces cadres ne précise comment les technologies de santé mentale doivent protéger les personnes qui les utilisent lorsqu'elles sont émotionnellement vulnérables.

Les cadres les plus proches et leur comparaison avec MHTS :

Cadre Objet principal Spécifique aux technologies de santé mentale Garanties de conception pour les utilisateurs en détresse
ISO/TS 82304-23 Qualité et fiabilité des applications de santé et de bien-être. Non : couvre toutes les applications de santé. Non : uniquement des exigences générales relatives aux risques pour la santé.
APA App Evaluation Model4 Aider les utilisateurs et les professionnels à évaluer et à choisir des applications. Oui. Non : un guide d'évaluation, pas une norme de conception.
Normes australiennes NSQDMH2 Gouvernance et processus de service des prestataires australiens. Oui. Non : générales et centrées sur les processus.
NICE ESF5 Données probantes attendues pour les technologies de santé numérique. Non : couvre la santé numérique de façon large. Non.
Réglementation des dispositifs médicaux Classification et autorisation des produits à finalité médicale. Uniquement lorsqu'un produit a la qualité de dispositif médical. Partiellement : exigences générales de sécurité et d'utilisabilité, rien de spécifique aux utilisateurs en détresse.
Droit de la protection des données Licéité du traitement des données personnelles. Non : s'applique à toutes les données personnelles. Partiellement : impose la protection des données dès la conception, mais ne traite ni de la manipulation ni de la dépendance.
MHTS Exigences de sécurité structurelles et éthiques. Oui. Oui : sept exigences.

MHTS est la première norme de sécurité à fixer des garanties de conception spécifiques aux technologies numériques de santé mentale. Les cadres existants restent importants, et certains, comme le droit de la consommation et le règlement européen sur l'intelligence artificielle, interdisent déjà des pratiques manipulatrices précises. Aucun ne définit comment une technologie doit être conçue pour que les pratiques qui exploitent les personnes en détresse émotionnelle soient exclues dès le départ.

MHTS comble cette lacune grâce à des garanties centrées sur la conception des technologies qui agissent sur les états émotionnels et mentaux. Ses principaux apports consistent notamment à :

  • Interdire de subordonner la stabilisation à l'identification de la personne.
  • Interdire la surveillance comportementale.
  • Supprimer les obstacles à l'accès en situation de détresse.
  • Faire passer la stabilisation avant l'interprétation.
  • Empêcher les mécanismes d'engagement générateurs de dépendance.
  • Préserver un accès immédiat à une aide humaine.
  • Rendre accessibles au public des données non identifiantes sur l'efficacité et l'impact.

MHTS a vocation à compléter les cadres existants pertinents, et non à les dupliquer ou à les remplacer. Voir Articulation avec les cadres existants.

Les sections ci-dessous présentent les risques auxquels répondent ces garanties.

La vulnérabilité psychologique en situation de détresse

Les personnes en proie à une détresse émotionnelle intense, liée par exemple à l'anxiété, à la panique, au deuil ou au désespoir, peuvent être particulièrement vulnérables à la manipulation et à l'exploitation psychologiques.

Dans les périodes de vulnérabilité émotionnelle, le besoin de soulagement, de réassurance ou de sécurité peut rendre une personne plus réceptive à la persuasion, surtout lorsque les messages jouent sur ses peurs, ses insécurités ou ses besoins émotionnels immédiats. Des travaux de recherche ont montré que le stress aigu peut altérer la prise de décision6 et que les messages fondés sur la peur peuvent accroître la réceptivité à la persuasion.7

Cette vulnérabilité fait peser des responsabilités éthiques importantes sur les fournisseurs de technologies de santé mentale. La détresse d'une personne qui cherche un soutien émotionnel ne doit jamais être exploitée à des fins commerciales, d'influence comportementale ou d'augmentation de l'engagement.

Un service pourrait, par exemple, exploiter la crainte d'une personne de voir sa santé mentale se dégrader pour l'inciter à des achats inutiles, entretenir une dépendance émotionnelle pour prolonger l'utilisation, ou se servir de confidences émotionnelles sensibles pour diffuser des messages persuasifs très personnalisés.8

Contrairement à beaucoup d'autres technologies, les services de santé mentale peuvent interagir avec des personnes précisément au moment où elles sont le plus vulnérables sur le plan émotionnel. La relation entre le fournisseur et l'utilisateur implique donc une responsabilité accrue : celle de protéger les personnes contre la manipulation, la coercition et l'exploitation.

Les technologies de santé mentale doivent être conçues pour soutenir le bien-être des personnes qui les utilisent, jamais pour tirer parti de la situation émotionnelle qui les a amenées à chercher de l'aide.

Le risque d'exploitation psychologique

Les produits numériques peuvent influencer les comportements par leur présentation, le choix du moment, leur langage et leurs systèmes sous-jacents. Par exemple :

  • Une urgence artificielle qui pousse à agir immédiatement
  • Un langage anxiogène destiné à influencer les décisions
  • Une pression émotionnelle pour continuer à utiliser un service
  • Des affirmations trompeuses sur les conséquences d'un abandon du service
  • Des interfaces qui dissimulent des choix importants
  • Des messages personnalisés fondés sur des profils comportementaux
  • Des offres commerciales qui exploitent la détresse émotionnelle pour forcer l'achat

Ces techniques s'apparentent à ce que les autorités de protection des consommateurs désignent couramment comme des interfaces trompeuses ou manipulatrices (« dark patterns »). La Federal Trade Commission américaine a montré comment la conception des interfaces peut influencer les décisions des consommateurs par des pratiques qui masquent l'information, manipulent les choix ou incitent à des actions non souhaitées.9 Ces pratiques soulèvent des problèmes éthiques supplémentaires lorsque la personne influencée cherche de l'aide face à une épreuve émotionnellement difficile.

Imaginons une personne qui ouvre une application de gestion de l'anxiété en pleine crise de panique. Au lieu de lui apporter une aide immédiate, l'application l'avertit que ses symptômes pourraient s'aggraver si elle ne débloque pas un soutien supplémentaire, et l'incite à souscrire un abonnement. L'application exploite ainsi délibérément la peur de la personne et son besoin urgent de soulagement pour la pousser à prendre une décision financière à un moment de vulnérabilité émotionnelle accrue.

De même, une application qui envoie des notifications à forte charge émotionnelle peut se servir de la vulnérabilité accrue d'une personne pour créer une dépendance au produit, et tirer un bénéfice commercial de la difficulté même qu'elle prétend traiter, au détriment de la santé mentale de la personne.

MHTS fixe des exigences destinées à prévenir ces conflits. L'objectif n'est pas simplement de décourager les comportements contraires à l'éthique, mais d'empêcher certaines formes d'exploitation par la structure et le fonctionnement mêmes de la technologie.

Intérêts commerciaux et bien-être des utilisateurs

De nombreuses entreprises du numérique mesurent leur réussite à l'engagement. Les indicateurs courants sont notamment :

  • Les utilisateurs actifs quotidiens
  • La durée des sessions
  • La fréquence de retour
  • Les taux de rétention
  • Le taux d'interaction avec les notifications
  • Les renouvellements d'abonnement
  • Le revenu moyen par utilisateur

Ces mesures peuvent être utiles pour des produits numériques classiques. Les objectifs du soutien en santé mentale peuvent toutefois être fondamentalement différents.

Pour une personne qui utilise un outil de stabilisation, une expérience réussie peut consister à utiliser brièvement le service, à retrouver son calme et à ne pas avoir besoin d'y revenir. Une application conçue pour maximiser l'engagement quotidien pourrait donc poursuivre un objectif commercial contraire au résultat attendu de l'intervention.

Ce conflit devient plus grave lorsque les mécanismes d'engagement reposent sur la répétition des difficultés émotionnelles. Un produit pourrait, par exemple, utiliser des séries d'utilisation consécutives pour encourager une utilisation quotidienne, récompenser les utilisateurs qui signalent régulièrement leur détresse ou envoyer des rappels qui suscitent la peur de perdre leurs progrès. De telles fonctionnalités tirent parti de la vulnérabilité récurrente d'une personne pour créer une dépendance au lieu de favoriser le développement de capacités d'adaptation autonomes : elles servent le fournisseur plutôt que la santé mentale de l'utilisateur.

La norme 5 de MHTS traite directement cette question en interdisant toute conception génératrice de dépendance.

La distinction ne se fait pas entre technologies commerciales et non commerciales. Un produit commercial de santé mentale peut fonctionner de manière responsable. La distinction se fait entre le fait de tirer un revenu d'un service utile et celui de structurer délibérément ce service pour exploiter ou prolonger la vulnérabilité.

La réussite d'un soutien en santé mentale doit se mesurer au bénéfice qu'en retire l'utilisateur, et non simplement à la fréquence de ses retours.

Vie privée et données émotionnelles

Les technologies de santé mentale peuvent traiter des informations bien plus sensibles que l'activité ordinaire d'une application. Par exemple :

  • Les difficultés émotionnelles
  • Les expériences de deuil ou de traumatisme
  • L'anxiété et la panique
  • Les relations personnelles
  • Le sentiment d'isolement
  • Les vulnérabilités psychologiques
  • Les schémas de détresse émotionnelle

Lorsque ces informations peuvent être associées à une personne identifiable, leur collecte peut faire naître des risques importants pour la vie privée. Ces risques peuvent découler de demandes directes d'informations personnelles ou de mécanismes techniques moins visibles, tels que les cookies, les identifiants d'appareil, le suivi intersites, le profilage comportemental et les transferts d'informations vers des services tiers.

Même des données apparemment anonymes peuvent devenir identifiantes lorsqu'elles sont combinées à d'autres informations. Une technologie peut ne jamais demander le nom d'une personne et pourtant constituer un profil comportemental qui permet de la distinguer des autres.

Les applications de santé mentale doivent donc être examinées au regard de leurs flux de données réels, et pas seulement des informations demandées dans les formulaires visibles. MHTS fixe deux exigences complémentaires :

L'objectif est d'empêcher la technologie de transformer la vulnérabilité psychologique en données identifiables ou exploitables commercialement.

La sécurité en situation de détresse émotionnelle

Une interface numérique classique peut partir du principe que les utilisateurs disposent du temps, de l'attention et des capacités cognitives nécessaires pour naviguer entre ses fonctionnalités. Ce postulat peut être inadapté pour une application destinée à apporter une stabilisation immédiate. Les obstacles possibles sont notamment :

  • La connexion obligatoire
  • La création d'un compte
  • Un parcours de prise en main trop long
  • Des instructions trop nombreuses
  • Une navigation complexe
  • Des questionnaires superflus
  • Des notifications intrusives
  • Des messages promotionnels
  • Un accès différé au soutien

Ces obstacles peuvent empêcher une personne d'obtenir de l'aide au moment où elle en a besoin.

La sécurité dépend aussi de ce que fait la technologie une fois l'accès ouvert. Lorsqu'on conçoit un système destiné aux situations de détresse aiguë, il faut se demander si ses premières instructions conviennent à une personne déjà submergée. Proposer une interprétation psychologique complexe avant de chercher à stabiliser la personne peut accroître la charge cognitive à un moment inopportun.

MHTS répond à ce problème par ses exigences d'accès sans obstacle et de stabilisation avant l'interprétation. Les normes imposent également un accès clair à une aide humaine réelle et aux services d'urgence.

Les outils numériques ont leurs limites. Une personne qui a besoin d'une aide professionnelle ou urgente ne doit pas être incitée à s'en remettre exclusivement à une intervention automatisée.

Instaurer la confiance par la conception

Une politique de confidentialité peut expliquer quelles informations une entreprise collecte. Une charte éthique peut décrire la manière dont une entreprise entend traiter ses utilisateurs. Une description de produit peut promettre qu'un service est sûr, bienveillant ou confidentiel.

Ces déclarations peuvent être utiles, mais elles n'établissent pas nécessairement le fonctionnement réel d'une technologie. Une application peut, par exemple, se présenter comme respectueuse de la vie privée tout en chargeant des services tiers qui collectent des informations comportementales. Une autre peut prétendre favoriser l'autonomie tout en utilisant des récompenses et des notifications conçues pour créer la dépendance.

MHTS privilégie des exigences vérifiables à partir du comportement réel du produit. Une technologie doit pouvoir démontrer, par exemple, que :

  • La stabilisation est accessible sans identification.
  • Elle n'utilise ni cookies ni profilage comportemental.
  • Le soutien ne nécessite aucune inscription.
  • Les mécanismes d'engagement n'entretiennent pas la dépendance.
  • L'aide humaine reste accessible.
  • Les données anonymes sur l'efficacité et les méthodes de mesure sont accessibles au public.

Cette approche rend les engagements éthiques plus concrets et vérifiables.

L'objectif est un environnement numérique de santé mentale dans lequel chacun peut chercher du soutien sans être contraint de renoncer à son identité, à son attention ou à son autonomie.