特別講演
Extended reality（XR）とMetaverseによるspatial precision surgery
[演者] 杉本 真樹 先生
[ご所属] 帝京大学冲永総合研究所Innovation Lab
[日時] 10/28（土）13：40～14：30
[会場] 第三会場（国際会議場）
[司会] 小山 修司 大会長
医用画像情報を系統的に科学するRadiomicsは、ゲノム情報と共に精密医療Precision medicineにて重要である。CT、MRIなどの画像データの特徴と所見をパターン解析し、機械学習して推論モデルを生成保存し、未知のデータに対し特徴を抽出して病態や鑑別疾患を推定する。我々はこれを外科学に活用し、CT/MRIから臓器形状の特徴点を精密に抽出し、3D臓器空間座標としてポリゴン化し、これを位置動作センサーにて正確に計測した術野空間とホログラム臓器と外科医の手指視線の動きを重ねて、現実環境(空間座標)に統合して提示するシステムを開発し、手術シミュレーションや治療支援、トレーニングや医学教育に実践活用した。
VR仮想現実ではヘッドセットと位置センサーによる3D立体視、位置座標補正、立体重畳表示を行い、外科医の動作に連動させ、解剖の空間認識、実時間相互作用、没入感を向上した。AR拡張現実では現実空間の位置情報を統合し、スマートデバイスで臓器ポリゴンを現実空間に重畳表示できた。MR複合現実による空間ホログラフィーは、透過型ウェアラブルグラスに、臓器や手術機器、支援ガイドなどを3Dデータとして術野空間に重畳提示し、空間位置動作センサにより、術者のジェスチャー入力も可能となり、滅菌環境でも3D臓器ホログラムを全方向から自由操作できる手術ガイドに有効だった。これまで3D画像といっても平面ディスプレイで閲覧していた医用画像データが、仮想空間や現実空間で空中に浮いている感覚で手に取るように把握でき、臓器や腫瘍の病態を自然に理解できた。さらにMetaverse空間を活用し、外科医の手と視線の動きをモーションキャプチャしXR空間にトレースして追体験できた。患者個別の病変、臓器解剖と手技操作の空間認識を強化し、手術技術向上と誤認回避に貢献した。手術手技の空間的な暗黙知を形式知化し、最適治療法を正確な空間認識により確立し伝承できるSpatial Precision Medicineとして、術者間の技術格差も改善できると期待できる。
[ご略歴]
杉本 真樹 医師、医学博士
帝京大学冲永総合研究所 教授 Innovation Lab室長
帝京大学医学部外科学講座肝胆膵外科
Holoeyes株式会社 Cofounder CEO
東京大学先端科学技術研究センター 分野アドバイザー
1996年帝京大学医学部卒。専門は外科学。帝京大学病院外科、国立病院東京医療センター外科、米国カリフォルニア州退役軍人局Palo Alto病院客員フェロー、神戸大学大学院医学研究科特務准教授、国際医療福祉大学大学院准教授を経て現職。XR(VR/AR/MR)、医用画像処理、医療ITシステム、手術支援、低侵襲手術や手術ロボット、3Dプリンタによる生体質感臓器モデルなど、先進的医療研究開発や医工産学官連携、科学教育推進、人材開発育成を精力的に行っている。2016年Holoeyes（株）を創業、管理医療機器「Holoeyes MD」を上市。医療コンサル、事業開発、データビジネスを欧米アジア中東へグローバル展開している。
日本外科学会 認定医 専門医
日本消化器内視鏡学会 専門医
日本内視鏡外科学会 技術認定取得者 評議員
日本肝胆膵外科学会 評議員
日本コンピュータ外科学会 評議員
FICS (International College of Surgeons) Fellow
ISS/SIC (International Society of Surgery) Active member
SAGES (Society of American Gastrointestinal and Endoscopic Surgeons) International Member
EAES (Europe Association of Endoscopic Surgery) Member
RANA (Radiology Society of North America) Member
