Université de Rennes 1 Framework for ultrasonography-based augmented reality in robotic surgery : application to transoral surgery and gastrointestinal surgery Mise en place d’une solution de réalité augmentée pour le guidage du geste en chirurgie robotisée à partir d’échographies : application à la chirurgie transorale et la chirurgie laparoscopicque gastro-intestinale Réalité augmentée échographie calibration de sondes d’échographie guide de résection tumorale chirurgie robotique Augmented reality ultrasonography ultrasound probe calibration tumor resection guidance robotic surgery Réalité augmentée Échographie per-opératoire Robotique en médecine Cette thèse porte sur le développement d’une solution de réalité augmentée dans le cadre de la chirurgie robotisée et plus particulièrement pour la chirurgie transorale des tumeurs de la base de langue et la chirurgie laparoscopique des cancers du bas rectum. Une des problématiques pour les chirurgiens est de repérer sur la vue endoscopique les limites de la tumeur et les marges de résections. Celles-ci sont en effet non visibles directement. L’échographie peropératoire est largement utilisée pour repérer les tumeurs lors des interventions. Nous proposons donc une solution de réalité augmentée dans laquelle l’information extraite de l’échographie est reprojetée sur la vision binoculaire de la station de chirurgie robotisée afin de guider le chirurgien dans la résection de la tumeur. Plusieurs verrous de cette chaîne de traitement ont été repérés et étudiés. Nous avons ainsi proposé une nouvelle méthode pour la calibration de sondes d’échographie. Nous avons démontré que cette méthode était plus facile à mettre en œuvre, plus rapide et plus précise que les méthodes proposées dans la littérature. Cette sonde calibrée, associée à des outils de localisation et de calibration de la sonde endoscopique nous a permis de proposer une solution de réalité augmentée qui permettait de reprojeter l’information acquise sur l’image sur la vue endoscopique avec des erreurs inférieures à 1 mm. Nous avons alors établi la preuve de concept de l’application de cette chaîne de réalité augmentée dans deux expérimentations, l’une sur un fantôme physique en silicone du rectum et l’autre sur une langue de mouton en ex-vivo. Les résultats expérimentaux ont montré que l’information augmentée avait permis au chirurgien de percevoir avec précision les marges de résections des tumeurs simulées et d’accomplir le geste opératoire à l’aide de cette perception. The medical context of this thesis is transoral robotic surgery for base of tongue cancer and robot-assisted laparoscopic surgery for low-rectal cancer. One of the main challenges for surgeons to perform these two surgical procedures is to identify the tumor resection margins accurately, because tumors are often concealed in base of tongues or rectal walls and there is lack of efficient intraoperative guidance systems. However, ultrasonography is widely used to image soft-tissue tumors, which motivates our proposition of an augmented reality framework based on intraoperative ultrasonography images for tumor resection guidance. The framework, proposed, with clinical partners, consists to adapt to the surgical workflow of robot-assisted surgery for treating base of tongue cancer and low-rectal cancer. For this purpose, we developed a fast and accurate 3D ultrasound probe calibration method to track the probe and facilitate its intraoperative use. Moreover, we evaluated the performance of the proposed framework augmenting an intraoperative endoscopic camera with ultrasound information, which shows less than 1mm error. Furthermore, we designed experimental protocols using a silicone rectum phantom and an ex-vivo lamb tongue, that simulate the integration of the implemented framework into the current surgical workflow. The experimental results show that, according to the augmented endoscopic views provided by the proposed framework, a surgeon is able to accurately identify the resection margins of the simulated tumors in these phantoms. Electronic Thesis or Dissertation Text en application/pdf 1 : 11611 Ko https://ged.univ-rennes1.fr/nuxeo/site/esupversions/f10ab913-27bb-4a13-9634-ea71a9da74b4 Shen Jun 1987-10-16 CN 243318855 junshen1016@gmail.com 2019REN1S078 http://www.theses.fr/2019REN1S078 2019-12-11 Signal, image, vision Universite de Rennes 1 thesis.degree.grantor_1 02778715X Doctorat non oui Dillenseger Jean-Louis intervenant_1 131390155 Poignet Philippe intervenant_2 081918011 MATHSTIC ecoleDoctorale_1 204770424 Universite Bretagne Loire partenaireRecherche_1 191639044 Laboratoire de Traitement du Signal et de l'Image partenaireRecherche_2 177793767 ddc:610 ddc:620 Dillenseger Jean-Louis Poignet Philippe Universite de Rennes 1 Sciences et technologie, medecine, pharmacie, odontologie, droit, economie, gestion, philosophie MATHSTIC École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) Universite Bretagne Loire Communaute des etablissements d enseignement superieur et de recherche (ComuE) Laboratoire de Traitement du Signal et de l'Image ASCII PDF 11890101