有初科技|5G遠(yuǎn)程醫(yī)療時(shí)代，談?wù)勈謩?shì)識(shí)別的VR/AR交互應(yīng)用場(chǎng)景

時(shí)間：2021-08-11作者：智匯有初(廣州)科技有限公司瀏覽：74

從新型冠狀病毒肺炎疫情開始到現(xiàn)在，中國(guó)是世界上疫情控制做得較好的國(guó)家。不過(guò)，關(guān)聯(lián)境外輸入的零星小規(guī)模偶發(fā)疫情持續(xù)不斷，一旦疫情出現(xiàn)必然導(dǎo)致隔離發(fā)生，醫(yī)院作為戰(zhàn)疫主戰(zhàn)場(chǎng)，影響許多需要醫(yī)療救助的病人。幸運(yùn)的是，5G技術(shù)推動(dòng)的遠(yuǎn)程醫(yī)療快速發(fā)展，尤其VR/AR技術(shù)立體呈現(xiàn)病人器官、組織病變形態(tài)，允許醫(yī)生遠(yuǎn)程清晰診斷病人的病灶；手勢(shì)識(shí)別精準(zhǔn)定位醫(yī)生的動(dòng)作與病人身體的位置，遠(yuǎn)程控制醫(yī)療設(shè)備為病人診療、手術(shù)，為遠(yuǎn)程病人帶來(lái)曙光。



一、遠(yuǎn)程醫(yī)療“VR/AR+手勢(shì)識(shí)別”方案落地性強(qiáng)

自從5G誕生，云計(jì)算速度延遲的基礎(chǔ)設(shè)施障礙沒(méi)了，我們落地遠(yuǎn)程醫(yī)療就要考慮三方面因素：一是精度，醫(yī)療的精度必須高到離譜，有初科技手勢(shì)控制精度能達(dá)到0.01mm級(jí)別；二是立體，醫(yī)生也是人，有正常的交互習(xí)慣，建立VR/AR病人器官、組織模型，較大化接近人體并看得較清楚；三是成本，類似一針?biāo)?00多萬(wàn)的產(chǎn)品沒(méi)有普及**，這是一個(gè)軟件算法配合硬件的方案，軟件算法效率提升可以降低硬件成本，進(jìn)而降低整體成本，實(shí)現(xiàn)“普通攝像頭+深度學(xué)習(xí)”方案，大數(shù)據(jù)進(jìn)一步訓(xùn)練，精準(zhǔn)度越來(lái)越高。


首先來(lái)講，基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別的技術(shù)方案優(yōu)勢(shì)明顯，從醫(yī)生動(dòng)作信息輸入到VR/AR模型做出反饋，這是一個(gè)動(dòng)態(tài)過(guò)程，降低了硬件的束縛，為實(shí)時(shí)手術(shù)提供了可行性，而且，手勢(shì)識(shí)別降低了硬件的依賴，讓醫(yī)生的手避免被其他物體遮擋，順應(yīng)醫(yī)生視覺(jué)習(xí)慣，而且0.01mm識(shí)別精度比醫(yī)生手術(shù)刀微弱抖動(dòng)還小，技術(shù)的落地基礎(chǔ)有了。

其次，人體是一個(gè)三維立體結(jié)構(gòu)，而手勢(shì)識(shí)別也是三維立體識(shí)別，VR/AR模型呈現(xiàn)也是三維立體。這過(guò)程類似增強(qiáng)CT、MR或造影支持，從機(jī)器視覺(jué)獲取人體三維模型信息到VR/AR模型立體呈現(xiàn)，呈現(xiàn)在醫(yī)生眼前的就是一個(gè)立體的病人器官、組織，并清晰展示病灶情況，此時(shí)，醫(yī)生遠(yuǎn)程診斷病人情況，需要手術(shù)的情況下，也可以借助遠(yuǎn)程**VR/AR模型為基礎(chǔ)的手術(shù)平臺(tái)，實(shí)現(xiàn)兩地病人與醫(yī)生的鏈接，完成遠(yuǎn)程手術(shù)，為來(lái)不及遠(yuǎn)程運(yùn)送的急重癥病人提供新的希望。

最后，任何科技的產(chǎn)生都是為了造福大眾，成本的高企無(wú)法適應(yīng)市場(chǎng)需求，進(jìn)行較優(yōu)方案降低成本也是必須考慮的因素。目前來(lái)講，基于機(jī)器視覺(jué)的手勢(shì)識(shí)別方案分為兩種“一種是用深度攝像頭，一種是用一個(gè)或者多個(gè)普通攝像頭實(shí)現(xiàn)。 而其中深度攝像頭的方案又分為兩種，TOF（Time of Flight，光飛時(shí)間）和結(jié)構(gòu)光?！倍煌桨傅牟顒e就像人的一只眼睛、兩只眼睛看到景深層次不同，但是一只眼睛借助已有信息、關(guān)鍵提示等其他輔助軟條件也可以達(dá)到預(yù)定效果，而普通攝像頭信息延遲**TOF數(shù)倍、拍攝角度大于TOF很多，雖然提高算法要求，但是降低綜合成本，較及時(shí)、全面獲取信息，也較適應(yīng)醫(yī)療場(chǎng)景需求。



二、遠(yuǎn)程醫(yī)療VR/AR硬件低成本、高精度手勢(shì)識(shí)別技術(shù)可行

在手勢(shì)識(shí)別應(yīng)用于VR/AR硬件方面，有初科技有落地項(xiàng)目進(jìn)行實(shí)際驗(yàn)證，并把成本分成不同方案進(jìn)行呈現(xiàn)，當(dāng)然，包括較低成本的實(shí)現(xiàn)方案。


對(duì)于醫(yī)療來(lái)講，高精度就是病人的生命，有初科技實(shí)現(xiàn)0.01mm識(shí)別精度，為遠(yuǎn)程精準(zhǔn)醫(yī)療提供技術(shù)可行性。實(shí)現(xiàn)手勢(shì)識(shí)別依賴“攝像頭+算法”的合理方案，得益于機(jī)器視覺(jué)和深度學(xué)習(xí)技術(shù)的發(fā)展，我們利用普通攝像頭實(shí)現(xiàn)高精度的手勢(shì)識(shí)別，對(duì)于應(yīng)用的落地是一大利好。

而且，手勢(shì)識(shí)別的高精度擺脫穿戴設(shè)備也是一大突破，一個(gè)穿戴設(shè)備套在手上，增加一層交互傳感的誤差，這個(gè)誤差遠(yuǎn)遠(yuǎn)大于手術(shù)刀的誤差，這一點(diǎn)無(wú)手套、無(wú)標(biāo)記的手勢(shì)識(shí)別也是有初科技的優(yōu)勢(shì)。

對(duì)于醫(yī)療來(lái)講，延遲和視角是高精度的間接影響因素，卻直接影響著醫(yī)生對(duì)病人的**。利用現(xiàn)有SLAM攝像頭實(shí)現(xiàn)手勢(shì)識(shí)別，大部分用于SLAM的攝像頭均為魚眼或者廣角灰度攝像頭，在實(shí)現(xiàn)的精度上，用同樣的計(jì)算資源或者用同樣復(fù)雜度模型的話，基于深度的或者灰度的攝像頭能夠做到精度較高，RGB的精度反而相對(duì)會(huì)弱一些，因此，直接在SLAM的相機(jī)上實(shí)現(xiàn)手勢(shì)識(shí)別的精度也能夠達(dá)到比較滿意的效果。

在成本、延遲、廣角都占據(jù)優(yōu)勢(shì)的條件下，SLAM相機(jī)進(jìn)一步加速“普通攝像頭+深度學(xué)習(xí)”方案落地，也可能是未來(lái)的主流方案，等待臨床數(shù)據(jù)去訓(xùn)練和驗(yàn)證。



三、遠(yuǎn)程醫(yī)療“較自然交互”手勢(shì)識(shí)別成為VR/AR選擇

較好的交互就是沒(méi)有交互，當(dāng)下的交互方式都是人適應(yīng)機(jī)器，這樣就容易導(dǎo)致用戶的操作失誤，醫(yī)生的操作失誤就會(huì)導(dǎo)致病人的生命危險(xiǎn)，所以，交互方式適應(yīng)人才是較佳方案。


人類誕生語(yǔ)言前，手勢(shì)識(shí)較原始、較自然的交流方式，成為人的一種習(xí)慣、潛意識(shí)，出錯(cuò)率大大降低，而手勢(shì)識(shí)別就是基于較自然的交互，適應(yīng)醫(yī)生的習(xí)慣，讓醫(yī)生全身心投入**，而不是分心于交互習(xí)慣。

而無(wú)論具有高度三維立體沉浸感的VR/AR，還是交互自然而生的手勢(shì)控制，模仿人體日常生活中的行為方式，如揮手、握手、擊掌、猜拳、抓取……動(dòng)態(tài)追蹤手勢(shì)進(jìn)行實(shí)時(shí)識(shí)別，**動(dòng)作識(shí)別的及時(shí)性、準(zhǔn)確性。

為了提高真實(shí)手術(shù)場(chǎng)景的觸感，基于VR/AR定制手術(shù)刀、鑷子等設(shè)備，實(shí)現(xiàn)手勢(shì)的觸覺(jué)反饋體驗(yàn)，進(jìn)一步感知手部復(fù)雜自由度的姿態(tài)和意圖，未來(lái)手勢(shì)識(shí)別成為VR/AR設(shè)備主流交互方式指日可待。


智匯有初(廣州)科技有限公司專注于電腦一體機(jī),筆記本電腦,投影電腦等

• 詞條

  詞條說(shuō)明

• 有初科技｜為什么光電腦比手機(jī)投屏、投影儀保護(hù)隱私？

  疫情 把很多事情逼到了網(wǎng)上 有初科技｜為什么光電腦比手機(jī)投屏、投影儀保護(hù)隱私？ 視頻會(huì)議 微信彈窗忘記屏蔽了 視頻會(huì)議 不小心共享了私密照片 視頻會(huì)議 暴露了不堪的手機(jī)桌面背景 …… 網(wǎng)課 不小心把私密聊天直播了 網(wǎng)課 不小心把男朋友帶進(jìn)來(lái)了 網(wǎng)課 不小心把自己臥室直播了 …… 也有人迷信手機(jī)投屏屏蔽微信功能 一不小心忘記或者打開 刀口舔血要了命 尷尬無(wú)處不在 社死突如其來(lái) 有初科技｜為什么光電腦

• 智匯有初|征服中美發(fā)明**，哈工大機(jī)器人博士應(yīng)該有姓名！

  一般情況下，**有“發(fā)明**、實(shí)用新型在**（美國(guó)為“植物”）和外觀設(shè)計(jì)**、發(fā)明”三種，審核較嚴(yán)格的發(fā)明**必須“實(shí)質(zhì)審查”，而其他兩種**只要“形式審查”，一個(gè)發(fā)明**從申請(qǐng)到授權(quán)較快也需要2-3年，正是實(shí)質(zhì)審查的高淘汰率，大大過(guò)濾了濫竽充數(shù)的垃圾專利申請(qǐng)者，促使發(fā)明**的技術(shù)**高、授權(quán)率低，數(shù)量少，也就有了較高**，這一點(diǎn)得到中美兩國(guó)科技界一致認(rèn)同，較證明了智匯有初三維空間交互技術(shù)的實(shí)力

• 智匯有初|吃小龍蝦看電視，再也不擔(dān)心接電話！

  哇哦 東京奧運(yùn)會(huì) 來(lái)了 中國(guó)奧運(yùn)健兒出征 可是 疫情肆虐 不允許到場(chǎng)觀看 電視直播 加油助威 新技能get 走你 那么 激情狂歡時(shí)刻 少不了美味佐料 啤酒+小龍蝦 簡(jiǎn)直較佳搭檔 一手小龍蝦 油燜小龍蝦誘人味蕾 一手啤酒 冰爽麥芽味激情暢飲 那種Feel 一個(gè)字 爽 然而 一個(gè)電話來(lái)了 不是廣告 不是騷擾 不是催債 而是女朋友的奪命連環(huán)call 滿手油漬的你 瞬間有手被占住的尷尬 此時(shí)此刻 可以無(wú)接

• 智匯有初｜這個(gè)人類史上較神秘的手勢(shì)是共濟(jì)會(huì)操控世界的暗示？

  從猿到人演進(jìn)的過(guò)程中，有一段沒(méi)有語(yǔ)言的漫長(zhǎng)歷史，擁有強(qiáng)大體魄的雄性**揮舞手勢(shì)指揮自己的社群進(jìn)行統(tǒng)治，再到語(yǔ)言誕生后的歷史，**法老、皇帝揮舞權(quán)杖呼風(fēng)喚雨，元帥、將軍揮舞刀劍指揮大軍，這些象征權(quán)力的手勢(shì)無(wú)一例外地成為較高權(quán)力人員的標(biāo)準(zhǔn)動(dòng)作。 無(wú)*有偶，一切到了近代、現(xiàn)代制度社會(huì)，民主、可續(xù)進(jìn)入人類的意識(shí)形態(tài)，一人統(tǒng)治天下的時(shí)代仿佛過(guò)去了，不可一世的手勢(shì)、權(quán)杖、刀劍隨之而去，然而，有細(xì)心地人翻閱歷史