領域 | 大有可為！圍手術期AR/VR醫(yī)療運用大清點

作家：思宇研發(fā)院官方

序言

緊隨人口的增長與科技的快速成長，人們敵手術治愈的高需要、強需要極大地鞭策了加強現(xiàn)實和虛擬現(xiàn)實技巧在醫(yī)療行業(yè)的運用。加強現(xiàn)實(Augmented Reality，AR)和虛擬現(xiàn)實(Virtual Reality，VR)技巧在醫(yī)療行業(yè)中獲取了明顯的聚焦力，正在少量地運用于多個醫(yī)療情景。

虛擬現(xiàn)實和加強現(xiàn)實是借用計算機技巧與現(xiàn)實場景交互的一項科技，變成可以供應醫(yī)學場景的兩類首要措施。醫(yī)師能夠看見真正手術部位和可視化虛擬三維解剖全息圖并在全息圖上對感興致的部位進行標志，為醫(yī)師創(chuàng)立了一類真假結合的半沉溺式手術場景。依據(jù)國際信息企業(yè)（IDC）世界半年加強和虛擬現(xiàn)實消費指南，AR/VR支付的五年復合年增長率（CAGR）將為78.3％。估計2023年世界加強現(xiàn)實和虛擬現(xiàn)實支付將到達1600億美圓，遠高過2019年預判的168億美圓。在醫(yī)療行業(yè)，依據(jù)Research&Markets.com調(diào)研顯現(xiàn)，AR/VR醫(yī)療正在歷經(jīng)大幅度的提高，其預料復合年增長率為33.36%，市場價值估計將從2018年的6.217億美圓增至2024年的34.97億美圓。

一、什么是AR&VR？

Lavallee等人早在1995年就提出了基于加強現(xiàn)實的混合建立模型（hybrid model construction）建立一個虛擬模型針對醫(yī)師施行手術是非常必須到，因而它提出了將CT/MRI/X光等醫(yī)學影像信息、AR/VR頭顯設施、患者、手術機械人等建立T1、T2…Tn坐標系，將T1…Tn多個坐標系串聯(lián)起來，用來為手術體系采集不同類型的數(shù)據(jù)。

針對AR/VR的詳細差別，知乎大神說得較好——VR是夢到鬼了，AR是大白晝碰到鬼了。虛擬現(xiàn)實技巧為客戶締造一個特定情景的虛擬空間，應用戶完全沉溺在一個虛擬的合成場景中，不能看見真正場景，擁有交互性（Interaction）、沉溺性（Immersion）和設想性(Imagination)三大特征，也被稱為3I特征。加強現(xiàn)實技巧可以把全息圖、

、視頻、聲響等交融在現(xiàn)實場景中真假結合，真正的場景情景與虛擬的全息數(shù)據(jù)進行交互，兩類數(shù)據(jù)交互補足和疊加。PokemonGo是加強現(xiàn)實技巧的詳細表現(xiàn)，玩家通過在現(xiàn)實世界中走動以抓取虛擬寵物腳色。

以下就讓咱們就來看看AR/VR在醫(yī)療行業(yè)的詳細運用吧！

二、AR醫(yī)療首要運用情景

1、術前模仿/計劃/培訓

ImmersiveTouch

ImmersiveTouch位于芝加哥的伊利諾伊州，建立于2005年，首要應用Vive和Oculus Rift頭戴式顯現(xiàn)器（HMD）并且觸覺反饋設施設計多種AR/VR交互式醫(yī)療應用情景，已順利為到神經(jīng)內(nèi)科、矯形內(nèi)科、眼科、耳鼻喉科等多科室的術前模仿、術中應用供應了輔助?，F(xiàn)在企業(yè)營業(yè)首要劃為三個模塊：ImmersiveView? VR、ImmersiveView Surgical Planning (IVSP?)。

ImmersiveSim? Training首要供應手術培訓、手術模仿的性能，首要面向醫(yī)學院學生及逐個醫(yī)療器械企業(yè)。該平臺可以為應用者供應身臨其境的獨到模仿/培訓機會，開發(fā)了多種學習模塊能夠代替低廉的尸首訓練，能夠通過觸覺反饋設施清楚地體驗到患者肌膚、肌肉、骨骼之間的觸覺差別。每個模塊能為應用者供應及時的教程反饋，并可配備修正性培訓和高難的評分體系，以改進和量化手術操控標準性。該平臺與克利夫蘭診所、芝加哥大學醫(yī)學院、約翰霍普金斯大學醫(yī)學院等醫(yī)療機構協(xié)作，少量試驗信息顯現(xiàn)該平臺可以提升手術的確切性、變短手術時間，減小手術并發(fā)癥，加大內(nèi)科醫(yī)師的信念。

ImmersiveSim 示企圖

Medivis

兩位來自紐約大學醫(yī)學核心(NYU Medical Center)的醫(yī)師Osamah Choudhry、Christopher Morley在2017年聯(lián)合創(chuàng)建了Medivis，Medivis是眾多尋求將AR和VR等新技巧引入OR的企業(yè)之一。往年3月Medivis頒布了基于HoloLens和Magic Leap的解剖學培訓平臺AnatomyX，AnatomyX平臺可供應5000個以上的解剖構造3D模型，這類模型信息來自于真正病人的CT和MRI。學生們可通過手勢和100多種語音指令與這類模型交互，在Magic Leap One中它還追隨6DoF手柄交互。另外，該平臺最多可追隨20人實時合作。西海岸大學、賓夕法尼亞大學已然在應用這類平臺。除了與微軟存在設備協(xié)作同伴聯(lián)系外，Medivis還與通訊大頭Verizon協(xié)作，變成其大舉宣揚的5G網(wǎng)絡協(xié)作同伴。5G的到來促使SurgicalAR能在30秒內(nèi)從服務器中提煉醫(yī)學圖片進行全息顯現(xiàn)。Medivis還正在調(diào)整機械學習的性能，以便在病人開啟策劃手術流程時，從他們的醫(yī)療記載和診療中辨認出最有關的數(shù)據(jù)。

AnatomyX示企圖

Touch Surgery

Touch Surgery建立于2013年，由兩位倫敦的內(nèi)科醫(yī)師創(chuàng)建?？蛻纛^戴微軟的HoloLens頭顯，客戶會看見一個專業(yè)內(nèi)科醫(yī)師的實時視頻反饋，在這之上還會覆蓋虛擬引導，奉告手術是怎樣進行的?，F(xiàn)在已開發(fā)出數(shù)百個內(nèi)科手術的視頻教學，比較馳名的是Go Surgery，客戶能直接應用iPhone/ipad，它將為醫(yī)學生供應全息逐漸指南，手把手地手術教程，每一項手術操控含蓋全面的簡介，含蓋解剖位子、麻醉方法、順應癥及忌諱癥、術后并發(fā)癥等，現(xiàn)已順利在英國和美國的醫(yī)院完結了測驗。

Panteleimon Pantelidis等人刊登了《Virtual and Augmented Reality in Medical Education》論文，此中羅列了許多在AR&VR醫(yī)療行業(yè)的產(chǎn)品，在解剖、內(nèi)窺鏡手術、神經(jīng)手術、骨盆手術等行業(yè)的運用產(chǎn)品，如下圖所示。

2、術中診療/導航/手術

Medivis

Medivis在建立早期就收到了Initialized Capital、DELL、微軟等企業(yè)的鼎力追隨，獲取了230萬美圓的出資，并頒布了第一代產(chǎn)品SurgicalAR，隨后SurgicalAR一路風生水起，在往年6月獲取了FDA認證?，F(xiàn)在內(nèi)科手術仍舊首要依附二維成像技巧來解讀和操控極其高難的病人病理。Medivis將全息可視化和導航技巧引入內(nèi)科手術，為內(nèi)科醫(yī)師供應加強現(xiàn)實信息集成和可視化工具，從基本上推動了手術干預，徹底變化了內(nèi)科醫(yī)師對病人的安全操控方法。Medivis可以訪問患者信息，并將其可視化地表達為三維模型，供醫(yī)師在策劃手術時考慮。這類模型被映照到病人身上，進而為內(nèi)科醫(yī)師供應一類最好的手術計劃。Medivis首席施行官、神經(jīng)內(nèi)科醫(yī)師喬杜里Choudhry表達“全息可視化是手術成像和導航的終極前端?！?/p>

Surgical AR示企圖

EchoPixel

EchoPixel在2017年的第103屆北美放射學會(RSNA)聚會上展現(xiàn)了最新版本的交互式的混合現(xiàn)實醫(yī)療軟件True 3D，現(xiàn)在True 3D已獲FDA認證。該軟件借用DICOM圖片信息創(chuàng)立器官、血管和其余構造的真正尺寸的全息版本，容許醫(yī)師轉(zhuǎn)動、調(diào)節(jié)大小、解剖和作出切口，以虛擬病人特定的解剖。這一性能使醫(yī)師可以更快地讀取圖片，進而更快地進行診療，并供應更好的術前計劃，還擴展了計算機斷層掃描(CT)和磁共振成像(MRI)之外的追隨形式，多種醫(yī)學影像信息可以有助于更好地評價植入式裝置的大小、子宮肌瘤和子宮血管的散布并且胎心的評價。該企業(yè)在2017年獲取了由英特爾領投的850萬美圓A輪融資。

ImmersiveTouch

ImmersiveView? VR將患者的CT、CBCT、3D血管造影和MRI掃描等術中實時醫(yī)學影像展現(xiàn)在醫(yī)師佩帶的頭顯上，使醫(yī)師看到另一個數(shù)字化患者(digital twin)。該平臺可用來放射室、手術室、醫(yī)師辦公室，使醫(yī)師查閱患者術中的要害掃描數(shù)據(jù)，也能使患者更清晰診斷狀況，現(xiàn)在這款平臺已通過FDA及CE認證。

IVSP?沉溺式手術計劃平臺將DICOM信息轉(zhuǎn)換為高保真的三維VR模型進行可視化，在此根基上供應了對應的可視化手術工具，輔助醫(yī)師隊伍研發(fā)、評價、計劃手術并在手術中應用，以及可以與醫(yī)學數(shù)字成像信息(DICOM)并且患者檔案和通信體系(PACS)兼容，可應用Oculus Rift手柄能夠?qū)嵭星懈睢⒄闪?、標志等手術操控。該平臺能使醫(yī)師加入到耳鼻喉腔道、神經(jīng)束等細微視角，也有上帝視角觀測全局解剖構造，由深及近地進行手術計劃。現(xiàn)在 IVSP?已通過FDA認證，HIPAA認證及CE認證。

IVSP?示企圖

Surgical Theater

Surgical Theater是由前以色列空軍職員創(chuàng)建的，結合了以色列軍方的頂尖斗爭機飛翔模仿技巧。Surgical Theater的首要產(chǎn)品為Precision VR，通過VR 技巧進行內(nèi)科手術的影像引導，改進內(nèi)科醫(yī)師手術方法，輔助手術順遂進行。Surgical Theater與光學導航體系NordicNeuroLab企業(yè)協(xié)作，將其企業(yè)的nordicBrainEX DTI(彌散張量成像)解決運用調(diào)整在Precision VR平臺中，如此會使醫(yī)師對有關的解剖、性能組織和細部組織進行深入的細節(jié)擴展和提升沉溺感。Surgical Theater曾在2016年獲取HTC供應的1100萬美圓A+輪出資。

3、術后痊愈

Vivid Vision

Vivid Vision企業(yè)建立于2014年，企業(yè)建立動機是想運用VR技巧治愈弱視和斜視類眼疾。現(xiàn)在順利頒布痊愈治愈類游戲《Vivid Vision》，借助VR讓患者通過特定設計的視覺成效去牽連大腦感覺本領，在游戲流程中通過準確的痊愈動作訓練客戶眼部內(nèi)未被應用過或正在休眠的肌肉組織，進而到達治愈成效。此外之外，借助 VR 技巧修復視力，以免了苦痛、乏味的物理治愈方法?，F(xiàn)在產(chǎn)品僅在北美的41家眼科診所供應服務，且必需由醫(yī)師處方才能獲得，估計往年晚些時候推向國際市場，現(xiàn)在在申報FDA認證。

VRHealth

VRHealth建立于2016年，是世界上首批通過ISO認證且其一切醫(yī)療運用均獲取FDA受權的VR醫(yī)療保健企業(yè)之一。其旗艦產(chǎn)品VRPhysio運用軟件已然獲取了FDA認證，以及首先用在了斯波爾丁痊愈醫(yī)院和波士頓的Beth Israel Deaconess醫(yī)療核心，其在歐洲的CE認證也將要完結。VRHealth策劃在一年內(nèi)公布四款新的產(chǎn)品，VRPsyc用來精神阻礙，含蓋常見的緊繃、恐慌癥、焦急癥、進食阻礙和創(chuàng)傷后應激阻礙(PTSD) ；VRCoordi會與VRPhysio配套應用，首要對于有成長協(xié)作阻礙和各類不同程度的自閉癥的孩子們，改進他們的協(xié)作本領；VRCogni首要用來改進中風患者、老年癡呆癥患者、腦震蕩患者、帕金森病患者的領悟性能；VRReliever目標是應用戶通過完結特定的動作分散注重力來治理慢性疼痛。以治愈創(chuàng)傷性腦傷害為例，患者參加虛擬游戲，任務是將拳擊手套與在他們面前彈出的一組燈相搭配。他們的呼應時間、錯誤和進度是實時丈量和解析的。可用來評價運發(fā)動在腦震蕩后的狀況。

SeeMe VR

SeeMe VR首要用來中風或內(nèi)傷性腦傷害患者，早在2009年就已然上市，使其變成首個用來此類患者的商用VR體系。SeeMe借助Kinect雙目攝像頭或規(guī)范的網(wǎng)絡攝像頭，將特定的醫(yī)療情景圖片傳輸?shù)交颊叩碾娔X，使患者沉溺到一個訂制的治愈情景中。在這個情景中，患者須要完結由醫(yī)師制訂的練習項目。醫(yī)師能夠應用該體系來評價患者的力量、耐力、運動范疇、姿態(tài)操控、反應時間、本體體驗、運動品質(zhì)、知覺、分派性注重和記憶力等。

三、結語

前段時間HoloLens2終究揭開了秘密的面紗，27388元非消費級程度的價錢仍舊讓許多人對這項黑科技直呼“真香”，這距離HoloLens1公布的時間已過去了四年。HoloLens2的到來能否估計了AR/VR會迎來一個簇新的成長浪潮？

反觀幾年前時常被用來與HoloLens作較為的Magic Leap，那時英氣地說出“The World is Your New Desktop”（世界就是你的新桌面）的Magic Leap現(xiàn)在被傳出銷量昏暗、盈余嚴重、抵押專利、高管離任。Magic Leap現(xiàn)在正在開發(fā)代號為ML2的第二代AR頭顯，會兼容5G、具有更強的深度感覺。一位參加該項目標職工表達，因為根本的技巧限定，這款設施還須要數(shù)年時間才能頒布。

黑科技層出不窮，有人歡喜有人憂，但絕對能夠必定的是：AR/VR在醫(yī)療行業(yè)的運用絕對會為愈加普及、愈加完美。AR/VR/5G/近程醫(yī)療并且多種人工自動技巧的成長，在絕對水平上會牽連乃至變化傳統(tǒng)的醫(yī)療診斷方法，有望在將來數(shù)年鞭策AR/VR醫(yī)療的成長。

- END -

作家 謝坦然 | 編纂 劉稷軒 | 排版 Elsa

本文轉(zhuǎn)載自其余網(wǎng)站，不代表健康界觀念和態(tài)度。真有內(nèi)容和

的著述權異議，請即時聯(lián)絡咱們（郵箱：guikequan@hmkx.cn）