« Je crois que je viens de le tuer. Oh, non. »

« Il y a du sang partout! Que dois-je faire ? »

« Où est-ce? Celui-là? Lequel est-ce? »

L’angoisse et la panique dans la voix de ma collègue étaient palpables.

« Celui avec la flèche lumineuse. »

Elle a écouté mes instructions. Quelques gestes plus tard, l’hémorragie s’est arrêtée et, avec elle, la simulation. Elle a retiré le casque de réalité virtuelle de son visage rouge et a poussé un soupir de soulagement avant de s’exclamer : « C’était génial ! » Elle venait d’enlever une vésicule biliaire pour la première fois et de juguler une hémorragie.

Si notre simulation de chirurgie d’ablation de la vésicule biliaire en réalité mixte (MR) a permis à notre collègue de confirmer à nouveau son choix de carrière non médicale (elle affirmait qu’elle aurait fait une piètre chirurgienne), notre équipe est convaincue que cette même technologie peut aider bien d’autres personnes, jeunes et moins jeunes, à explorer, comprendre et maîtriser leurs compétences dans le domaine très exigeant de la médecine, et en particulier de la chirurgie.

Au cours de la dernière année, nous avons eu le privilège de travailler avec un certain nombre d’experts en chirurgie pour développer plusieurs projets exploratoires de démonstration de faisabilité utilisant la technologie de réalité étendue (XR) dans le domaine de la formation chirurgicale.

Pour des raisons de confidentialité, YouTube a besoin de votre autorisation pour être affiché. Pour plus de détails, veuillez consulter notre Privacy Policy.

Nous partageons ci-dessous quelques réflexions tirées de ces explorations.

Les défis actuels de la formation chirurgicale

Il n’est pas surprenant qu’il faille du temps pour former de bons médecins, et il en faut encore plus pour former de bons chirurgiens.

Un chirurgien cardiaque chevronné, professeur de chirurgie dans une grande université publique française, nous a confié : « Tous les dix ans environ, je peux avoir un… peut-être deux étudiants qui deviendront de grands chirurgiens. De moins en moins d’étudiants en médecine s’orientent vers la chirurgie, parce que c’est encore plus difficile et plus stressant. » En effet, selon les statistiques de santé de l’OCDE de 2022, la France est l’un des pays de l’OCDE où le nombre de médecins par habitant est le plus faible, devançant seulement la Hongrie et le Luxembourg. Si l’on associe la longueur de la formation à la diminution du nombre de candidats, le fossé semble difficile à combler d’un point de vue mathématique.

Au Canada, la situation serait similaire. Selon le site web du Guichet emplois du Service national de l’emploi (gouvernement du Canada), « cette catégorie professionnelle [les chirurgiens] devrait être confrontée à une pénurie de main-d’œuvre au cours de la période 2022-2031 au niveau national ».

Quel que soit la nature ou le nombre des causes profondes de ces pénuries, qu’elles soient systémiques ou non, nous pouvons tous convenir que l’amélioration des méthodes de formation mérite d’être étudiée et explorée. C’est ici qu’entrent en jeu la technologie dite « étendue » que l’on désigne aussi par l’acronyme XR, et qui comprend la réalité virtuelle (VR), la réalité augmentée (AR) et la réalité mixte (MR), qui combine pour part la VR et l’AR.

La question d’une solution globale

Avant d’exposer les nombreuses améliorations que la XR peut apporter à la formation chirurgicale, il est important de clarifier quelques idées fausses concernant l’utilisation de cette technologie en formation chirurgicale. Même nous, en tant qu’experts en technologie non chirurgicale, en avions.

Tous les chirurgiens que nous avons consultés ont souligné l’importance cruciale du retour d’information tactile et haptique dans leur travail et leur formation. Le chirurgien doit pouvoir sentir physiquement le tissu sur lequel il travaille. Il doit sentir l’outil qu’il tient dans ses mains comme s’il était devenu une extension de son corps : cette sensation peut devenir aussi technique que de savoir quelle articulation de quel doigt touche quelle partie de l’outil.

An example of a recreated laparoscopic tool being held and used in XR. Note the tool is entirely virtual but can be held in the user’s real physical hand.

Exemple d’un outil laparoscopique recréé en XR. L’outil est entièrement virtuel, mais peut être tenu dans la main réelle de l’utilisateur.

Bien que certains accessoires de XR promettent de telles capacités (comme une variété de modèles de gants haptiques), la technologie actuelle pour le retour haptique est encore naissante et nécessitera des tests et des ajustements supplémentaires pour atteindre le niveau de précision et de dextérité requis pour la formation chirurgicale. Compte tenu de la complexité, de l’évolutivité et du coût de ces accessoires, l’utilisation de la XR pour cibler la formation de base peut sembler hors de portée à l’heure actuelle, voire excessive.

Un spécialiste du remplacement des valves cardiaques a fait remarquer avec humour que « si vous devez utiliser la XR pour apprendre à tenir vos outils ou à couper, vous n’êtes pas à votre place dans une école de chirurgie ». Ce qu’il voulait vraiment dire, c’est que la formation aux bases de la chirurgie est une question pratiquement résolue tant qu’il n’y a pas d’avancée technologique. Il n’est pas rare que les étudiants s’exercent aux coupes et aux sutures sur des morceaux de peau de porc ou de silicone simulé, qui sont des solutions relativement peu techniques et peu coûteuses qui offrent un retour tactile et haptique essentiel à la formation des chirurgiens.

Une anecdote sur la VR que j’aime partager est celle d’un collègue qui m’a raconté il y a quelques années avoir testé une de ces applications dans laquelle il était possible d’ouvrir un livre virtuel (en VR), d’en feuilleter les pages et de le lire. Lorsque je lui ai demandé s’il y avait autre chose à faire, il m’a répondu : « Non, on lit simplement les livres. Cela pourrait peut-être encourager les gens à lire davantage. »  Je ne sais pas si cette application a connu un grand succès ou non, car je ne me souviens plus de son nom (si c’est le cas, que les développeurs en profitent!), mais j’ai immédiatement pensé à l’optique de l’utilisation efficace de la technologie : on peut déjà se procurer une copie physique du livre, en feuilleter les pages et les lire, ou utiliser un lecteur électronique et « feuilleter » les pages, de façon électronique. La valeur ajoutée perçue ou supposée de la VR justifiait-elle les ressources et le temps consacrés au développement de l’application?

En tant que développeurs XR affiliés à l’Université Concordia, mes collègues et moi pensons que l’ajout de cette dimension à notre analyse coûts-avantages est un élément important de l’évaluation des concepts et des projets. Devrions-nous utiliser la XR pour résoudre un problème qui a déjà été résolu? Pouvons-nous être certains que notre solution de XR apportera une amélioration significative? Ou devrions-nous nous concentrer sur d’importants enjeux auxquels d’autres technologies n’ont pas encore apporté de réponse? Telles sont les questions que nous nous posons lorsque nous collaborons avec des experts pour produire du matériel d’apprentissage en XR.

Dans un contexte de ressources limitées (comme c’est le cas dans de nombreux départements universitaires), et compte tenu du coût et de la complexité du développement de la technologie de XR, nous pensons que de maximiser l’impact est un principe directeur judicieux à garder à l’esprit lors de l’analyse des concepts. C’est aussi notre humble façon de préserver la réputation de la technologie, afin d’atténuer les critiques selon lesquelles la technologie XR serait un gadget, un jouet que l’on essaierait d’intégrer dans tous les cas d’utilisation possibles. Combien de fois avons-nous rencontré des gens dont le manque d’enthousiasme pour la XR s’expliquait ainsi : « Je l’ai essayé il y a des années, et ce n’était pas une expérience agréable. » D’après les nombreuses présentations publiques et événements que nous organisons, nous pouvons affirmer que ce préjugé est assez répandu.

L’importance de choisir une technologie qui peut réellement maximiser l’impact de la formation s’applique également au domaine médical. Pour en revenir à notre ami spécialiste des valves cardiaques, non, nous n’avons pas besoin d’apprendre aux chirurgiens à tenir un scalpel ou à couper la peau à l’aide de la XR; ce serait une perte de temps. Du moins, pas avant que la technologie puisse fournir un retour d’information haptique extrêmement précis, capable de reproduire la sensation des tissus humains, et que son utilisation devienne ainsi rentable.

Alors, qu’avons-nous essayé de résoudre?

Les avantages potentiels de la XR dans la formation médicale

Nous ne croyons pas que la XR remplacera la formation traditionnelle, mais elle la complétera en se concentrant sur les questions pratiques, en lui laissant les questions didactiques. La XR permet de raccourcir la formation en aidant l’étudiant à s’exercer de façon pratique, car les ressources de formation dans le domaine médical peuvent aussi être très précieuses.

Produire des expériences d’apprentissage mémorables

Les manipulations de base étant écartées, notre exploration s’est concentrée sur trois domaines de formation prometteurs identifiés par nos chirurgiens partenaires : l’apprentissage des procédures, la gestion du stress et le mentorat à distance.

Procédures

Il s’agit moins d’apprendre à manipuler les outils que d’aider l’étudiant à se souvenir des étapes d’une procédure complexe en plusieurs étapes. Quelles sont les étapes nécessaires pour effectuer une opération de remplacement valvulaire? Quelles sont les étapes pour déployer la nouvelle valve de remplacement? Qu’en est-il de l’ablation de la vésicule biliaire? Quelles sont les précautions à prendre? Quels sont les risques associés à une procédure particulière?

D’aucuns pourraient s’opposer. Cela ne peut-il pas être réalisé par des moyens traditionnels? S’agit-il simplement de faire mémoriser des étapes à l’étudiant? Pourquoi faire cela en VR plutôt que de demander aux étudiants de lire un livre, de regarder une vidéo ou même d’observer un chirurgien mentor effectuer l’opération en personne?

Selon le rapport d’enquête PwC 2022 sur le métavers aux États-Unis, PricewaterhouseCoopers note qu’il a été prouvé que la formation en VR augmente l’engagement de l’apprenant et améliore les résultats d’apprentissage par rapport aux méthodes traditionnelles à bien des égards, à savoir que la formation en VR est quatre fois plus rapide que la formation en salle de classe.

Elle crée chez les apprenants des souvenirs puissants auxquels ils peuvent se référer plus tard lors de la formation en personne ou pendant leur pratique. L’objectif est d’aider les étudiants à intérioriser les étapes d’une procédure complexe grâce à de nombreuses simulations, de sorte qu’ils hésiteront moins lorsqu’ils suivront la formation en personne. N’oubliez pas : l’objectif est de maximiser l’impact de la formation en personne (en raison des ressources limitées — nous y reviendrons plus loin) en préparant les étudiants grâce à leur formation en XR. En exécutant la procédure en XR, l’étudiant mobilise davantage ses sens et sa concentration qu’en visionnant ou en revisionnant des vidéos.

Gestion du stress

Bien qu’anecdotique, la réaction de ma collègue au fait d’avoir « tué un patient » est naturelle et très réelle. Le même rapport de PricewaterhouseCoopers indique qu’en VR, les apprenants se sentent 3,75 fois plus liés au contenu sur le plan émotionnel qu’en classe. La professeure Teresa Hernandez Gonzalez (Phd) de l’Université Concordia tire parti de ce phénomène en utilisant la formation en VR pour préparer émotionnellement les futurs enseignants dans le cadre d’un ambitieux projet.

Bien que la professeure Hernandez Gonzalez se concentre sur la formation des enseignants, ses observations sont particulièrement surprenantes : « Malgré l’éducation qu’ils reçoivent dans le cadre de leurs programmes universitaires, les nouveaux enseignants ont tendance à enseigner de la même manière qu’on leur a enseigné. En effet, lorsqu’ils sont confrontés à la situation stressante d’une vraie salle de classe, ils ne font pas appel aux connaissances acquises à l’université, mais aux souvenirs stockés lors de leurs expériences précédentes en tant qu’étudiants, qu’ils reproduisent. Par conséquent, la création d’expériences immersives qui peuvent être stockées en tant que souvenirs aide les nouveaux enseignants à activer ces souvenirs lorsqu’ils enseignent dans une vraie salle de classe ».

Les chirurgiens vivent également des expériences stressantes dans la salle d’opération et peuvent vivre des « incidents » inattendus pendant l’opération : hémorragie interne, dysfonctionnement d’un outil, mauvaise coupe, etc. La nature hautement imprévisible de ces événements rend la formation en personne beaucoup plus ardue à réaliser. C’est pourquoi la XR peut offrir des environnements suffisamment réalistes pour susciter une réaction émotionnelle tout en restant totalement sécuritaires pour l’étudiant. L’objectif est de les exposer de manière répétée à des situations difficiles et de leur permettre d’intérioriser les réponses appropriées afin de constituer une bibliothèque de souvenirs sur laquelle ils pourront s’appuyer lorsqu’ils seront confrontés à leurs propres « incidents », que ce soit dans le cadre d’une formation ou dans le monde réel.

Assistance à distance

La XR ne peut pas remplacer les conseils d’un mentor expérimenté. Ce qu’elle peut faire, en revanche, c’est étendre considérablement la portée « du bras » du mentor. La grande promesse de la formation en XR est de permettre aux chirurgiens, qui peuvent se trouver outremer pour quelque raison que ce soit (voyages, conférences, travail, etc.), de se connecter à distance au casque d’un étudiant et de pouvoir suivre ses progrès directement en voyant ce que ce dernier voit, et en lui permettant à son tour par le biais de son propre casque de voir ce que son mentor fait avec ses mains.

Cela va au-delà du contexte de la formation et s’applique aux cas d’utilisation où un chirurgien pourrait se connecter à distance à l’appareil d’un autre chirurgien pour fournir une assistance directe pendant une opération en temps réel, où le chirurgien à distance peut tout à fait voir ce que l’autre chirurgien voit et fournir des conseils guidés visuellement. En effet, un chirurgien de Montréal pourrait recevoir l’assistance à distance d’un collègue en France en temps réel.

Maquette visuelle de ce à quoi peut ressembler une telle intervention. Notez que l’utilisateur peut voir les mains du chirurgien à distance, qui voit également ce que l’utilisateur voit. Cela peut se faire dans un environnement de formation virtuel ou au cours d’une véritable intervention chirurgicale.

Maquette visuelle de ce à quoi peut ressembler une telle intervention. Notez que l’utilisateur peut voir les mains du chirurgien à distance, qui voit également ce que l’utilisateur voit. Cela peut se faire dans un environnement de formation virtuel ou au cours d’une véritable intervention chirurgicale.

Considérations pratiques

Quels sont les avantages pratiques de la formation en XR?

Portabilité : amener la salle d’opération à l’étudiant

Nous avons évoqué l’idée de ressources limitées en matière de formation. Il y a un manque de salles d’opération, quelle que soit la région du monde où l’on se trouve. Selon l’un de nos chirurgiens experts, il n’est pas toujours simple de réserver une salle d’opération pour un cours : « Elles sont en général occupées pour des raisons évidentes et sur une plage horaire très variée. Certains hôpitaux ont même du mal à savoir quelle salle est réservée à quelle heure. Ce n’est pas très pratique. »

L’une des récentes avancées concernant l’équipement de XR est sa portabilité. Que le casque soit relié à un ordinateur portable par un câble ou qu’il soit entièrement sans fil et autonome, l’utilisateur peut emporter l’appareil avec lui dans différents espaces, que ce soit dans une salle de classe ou même à la maison. La portabilité est telle que l’un de nos collègues a tout simplement pu mettre l’un de nos casques (contenant la simulation) dans son bagage à main et s’est envolé pour la France afin de rencontrer nos chirurgiens experts.

a drawing of a VR headset

Les casques sont pour la plupart sans fil ou peuvent fonctionner avec un ordinateur portable, ce qui les rend beaucoup plus portables que les véritables dispositifs de simulation médicale ou les casques de première génération.

La nature immersive de la XR offre à l’étudiant la flexibilité d’être exposé à différents types d’environnements, allant d’un espace totalement immersif en VR à un espace partiellement immersif en réalité mixte, où l’étudiant peut voir simultanément l’espace virtuel et l’espace physique. La XR est assez flexible pour cibler les objectifs d’apprentissage spécifiques de la formation. L’étudiant peut s’habituer virtuellement à ces environnements, de sorte que lorsqu’il se présente sur le lieu physique, il a déjà une bonne idée de ce qui l’attend.

The image on the left shows a fully immersive operating room with walls, floors and ceilings. The image on the right is a Mixed Reality example (note the regular office door and window in the background), allowing the user to see virtual objects overlaid on top of their physical space.

L’image de gauche montre une salle d’opération entièrement immersive avec des murs, un plancher et un plafond. L’image de droite est un exemple de réalité mixte (notez la présence de la porte et la fenêtre du bureau en arrière-plan), qui permet à l’utilisateur de voir des objets virtuels superposés à son espace physique.

Le domaine médical n’est pas le seul qui peut bénéficier de cette technologie : les entreprises du secteur de l’énergie et de l’exploitation minière utilisent depuis longtemps des modèles en 3D de leurs effectifs pour former les futurs membres d’équipage, en leur permettant par exemple de s’entraîner virtuellement à l’intérieur d’un modèle en 3D d’une raffinerie ou d’un pétrolier, parfois en cours de construction. Ainsi, l’équipage se sera déjà familiarisé avec l’agencement de son espace de travail lorsqu’il y mettra les pieds, ce qui accélérera considérablement le processus de formation.

Répétitivité : temps de formation infini

Les simulations sont, par définition, répétables : l’étudiant peut parcourir les scénarios (éventuellement aléatoires) autant de fois qu’il le souhaite sans que les instructeurs aient besoin de ressources ou de temps supplémentaires, ce qui en fait un puissant outil d’autoapprentissage. La répétition aide l’étudiant à mieux absorber et intérioriser la matière et à le faire d’une façon qui lui convient.

Évolutivité : rentabilité

Il existe d’innombrables outils professionnels spécialisés pour aider les chirurgiens dans leur pratique. Il peut s’agir de machines volumineuses, peu maniables et très sophistiquées, et leur prix en est souvent le reflet. Pour réitérer notre point précédent, nous pensons qu’il est peu probable que la formation en XR remplace ces outils sophistiqués dans un avenir proche. Ce que la formation en XR peut offrir, c’est la possibilité de faire le lien entre la partie autodirigée de la formation et la formation réelle à l’aide d’outils réels.

Un expert en machines cœur-poumon nous a fait part de son expérience : « Il n’est pas facile d’expédier à l’avance à l’hôpital ce nouveau modèle de machine de 400 lb pour permettre l’entraînement. » Soudain, la perspective de permettre aux perfusionnistes de s’entraîner à utiliser un jumeau numérique de la nouvelle machine en XR avant de recevoir la machine physique devient intéressante. Après tout, un casque ne pèse que quelques livres. Lorsque les perfusionnistes recevront les machines, ils les auront utilisées des dizaines, voire des centaines de fois en XR, acquérant ainsi à l’avance une bonne compréhension des fonctions et de l’utilisation de l’outil.

L’investissement initial se concentre principalement sur le développement d’une simulation précise. Toute mise à jour ou modification ultérieure de la formation est effectuée au niveau du logiciel. Une fois cette étape franchie, les coûts de distribution sont principalement liés à l’achat d’un casque, qui peut fluctuer entre 500 et 3500 dollars américains par unité en fonction de la qualité ou des besoins.

Le droit à l’erreur

Faire des erreurs est humain. La stigmatisation est toutefois exacerbée lorsque certaines erreurs sont beaucoup plus scrutées que d’autres, car elles n’ont pas toutes les mêmes conséquences. C’est d’autant plus vrai dans le domaine médical, car une erreur peut avoir un impact significatif sur le bien-être du patient et être une question de vie ou de mort.

Comme pour toute autre chose dans la vie, le risque peut être atténué, mais ne peut pas être totalement éliminé. Des carrières et des industries entières existent pour gérer les risques. Les professionnels de la santé s’efforcent aussi consciemment de les réduire autant que possible, et la XR est un outil qui peut contribuer à cet effort. Pourquoi?

Parce que la XR offre un environnement réaliste qui permet aux étudiants de ressentir les conséquences de leurs erreurs sans nuire à un vrai patient et, en fin de compte, sans non plus leur nuire à eux-mêmes. Nous voulons que les étudiants expérimentent toutes les erreurs qu’ils peuvent faire, que celles-ci se produisent le plus possible durant la formation, alors que leurs conséquences ne sont que virtuelles. Nous souhaitons leur offrir un environnement où ils peuvent échouer souvent et se reprendre rapidement afin qu’ils puissent retourner dans le monde physique en ayant un ensemble d’expériences qui contribueront à renforcer leur confiance en soi et leur professionnalisme.

Comme toute formation efficace, celle en XR reconnaît aux futurs médecins le droit à l’erreur.

La voie à suivre

Qu’est-ce que la XR nous réserve d’autre? Nous sommes d’avis qu’elle possède un vaste potentiel.

Lorsque nous avons créé l’expérience VR « Une conversation avec Newton » — dans laquelle l’utilisateur peut rencontrer et converser librement avec un avatar virtuel en 3D du célèbre Isaac Newton alimenté par l’IAGen —, nous avons combiné les synergies naturelles qui existent entre les mondes immersifs de la XR et les IA ultra-réactives. L’IAGen est en train d’insuffler la vie dans des environnements immersifs et de donner aux utilisateurs un véritable libre arbitre en fournissant un contenu d’apprentissage sans les aspects scénarisés de l’apprentissage traditionnel ou des expériences interactives habituelles. L’utilisateur est véritablement en mesure de poser toutes les questions qu’il a à l’esprit et de recevoir des réponses élaborées en temps réel par l’IA.

Il n’est donc pas exagéré de penser que cette même technologie pourrait être utilisée pour créer des mentors virtuels spécialisés, uniques et mémorables qui accompagneraient l’utilisateur dans son parcours d’apprentissage et lui fourniraient un retour d’information vivant et contextuel afin de le guider dans sa quête de connaissances et de sagesse.

S’agit-il de créer des clones numériques d’experts en chirurgie afin qu’ils puissent former simultanément un grand nombre d’étudiants, même s’ils sont séparés par des continents, voire des générations? En quelque sorte, oui! C’est l’idée qu’a lancée l’un de nos experts chevronnés.

« Dans 20 à 30 ans, je ne serai probablement plus là. Malheureusement, toute mon expérience et mes connaissances disparaîtront aussi. Ne serait-ce pas formidable si nous pouvions d’une manière ou d’une autre stocker toutes ces connaissances pour que les futurs médecins puissent y avoir accès?

Les futurs médecins pourraient-ils rencontrer des médecins actuels et passés et puiser dans leurs connaissances… de manière virtuelle? Rencontrer leur avatar virtuel et échanger avec lui dans le monde virtuel?

Une grande idée pour une noble cause.

Comme l’a écrit le grand Isaac Newton, « Si j’ai vu plus loin [que d’autres], c’est en montant sur les épaules de géants ».

L’heure des chevauchées virtuelles sur les épaules des géants a peut-être sonné.

Ping Ng

Auteur:
Ping Ng

Concepteur d’expérience d’apprentissage @KnowledgeOne. Artiste à ses heures. Bricoleur. Adepte de l’impression 3D. Joueur. Oiseau de nuit.