文 / VRAR星球 維克多
谷歌近日為其新研發(fā)的“增強(qiáng)現(xiàn)實(shí)顯微鏡”(ARM)申請(qǐng)了專利,這臺(tái)顯微鏡采用了人工智能增強(qiáng)功能,能在操作載玻片時(shí)實(shí)時(shí)將檢測(cè)結(jié)果投射到視野上,不僅能放大細(xì)胞,還能為它們描繪出醒目的視覺標(biāo)記,讓癌細(xì)胞無(wú)處遁形,幫助醫(yī)生更早發(fā)現(xiàn)癌癥。ARM徹底改變了病理學(xué)家檢查生物樣本的方式,標(biāo)志著增強(qiáng)現(xiàn)實(shí)+人工智能在醫(yī)療領(lǐng)域的又一重大突破。
最佳仲裁員
西雅圖退伍軍人醫(yī)院辦公室里,一場(chǎng)爭(zhēng)論正在兩位醫(yī)生間發(fā)生。
Nadeem Zafar醫(yī)生是一位病理學(xué)家,主要對(duì)體液和組織進(jìn)行臨床實(shí)驗(yàn)室測(cè)試,以診斷癌癥等疾病。這是一項(xiàng)經(jīng)常在幕后運(yùn)作的工作,但它是醫(yī)療保健的關(guān)鍵支柱。
另一位醫(yī)生是Zafar的同事,他咨詢了一個(gè)癌癥病例。很明顯,這名患者患有癌癥,但兩位醫(yī)生在病情嚴(yán)重程度上存在分歧。Zafar認(rèn)為癌癥比他的同事預(yù)料得更具攻擊性。
Zafar轉(zhuǎn)向他的顯微鏡——這是一種深受醫(yī)生喜愛的病理學(xué)工具,醫(yī)生們依靠它來(lái)幫助做出診斷。但這不是一臺(tái)普通的顯微鏡,它是由谷歌和美國(guó)國(guó)防部合作研發(fā)制造的增強(qiáng)現(xiàn)實(shí)顯微鏡——ARM (Augmented Reality Microscope) 。
兩人用這臺(tái)特殊的顯微鏡觀察了這個(gè)病例。幾秒鐘后,人工智能標(biāo)記出了Zafar認(rèn)為更具攻擊性的腫瘤確切部位。事實(shí)證明他是對(duì)的。Zafar的同事被說(shuō)服了。在接受媒體記者采訪時(shí),Zafar表示:“這就是這項(xiàng)技術(shù)的美妙之處,它很像一位仲裁員?!?/p>
病理學(xué)家的新工具
多年以來(lái),谷歌公司和美國(guó)防部一直在悄悄地研究這種由人工智能驅(qū)動(dòng)的增強(qiáng)現(xiàn)實(shí)顯微鏡。目前這項(xiàng)技術(shù)仍處于早期階段,尚未廣泛用于幫助診斷患者,但初步研究顯示它很有希望,極有可能成為病理學(xué)家的有用工具。
乍一看,ARM很像高中生物教室里的顯微鏡。該設(shè)備是米色的,有一個(gè)大目鏡和一個(gè)托盤,盤上有用于檢查的傳統(tǒng)的載玻片。顯微鏡連接到一個(gè)方形的計(jì)算機(jī)箱塔上,里面裝有人工智能模型。
增強(qiáng)現(xiàn)實(shí)顯微鏡外觀
當(dāng)準(zhǔn)備好載玻片并將其固定在顯微鏡下時(shí),人工智能能夠勾勒出癌癥的位置。輪廓看起來(lái)是一條亮綠色的線,病理學(xué)家可以通過(guò)目鏡和單獨(dú)的監(jiān)視器看到。人工智能還指示癌癥的嚴(yán)重程度,并在監(jiān)視器上生成黑白熱圖,以像素化的形式顯示癌癥的邊界。
病理學(xué)家使用ARM時(shí)在屏幕上看到的內(nèi)容
在最近的一份專利申請(qǐng)中,谷歌將其ARM描述為“病理學(xué)家用來(lái)觀察含有組織或血液等生物樣本的載玻片的顯微鏡”。該顯微鏡的與眾不同之處在于,它能夠在操作載玻片時(shí)實(shí)時(shí)將增強(qiáng)功能投射到視野上,為病理學(xué)家提供寶貴的意見。這些增強(qiáng)功能起到了輔助作用,為病理學(xué)家提供了表征或分類樣本的重要信息。例如,ARM可以幫助識(shí)別樣本中癌癥細(xì)胞或病原體的存在,從而有可能徹底改變癌癥的早期診斷和治療。
用于診斷癌癥的組織切片包含大量信息,破解這些信息非常費(fèi)時(shí)費(fèi)力。每個(gè)細(xì)胞都要進(jìn)行檢查,癌癥有時(shí)候很難識(shí)別。ARM把AR+AI技術(shù)和顯微鏡結(jié)合起來(lái),實(shí)時(shí)檢查癌癥。攝像頭把有關(guān)信息傳輸?shù)诫娔X上,電腦會(huì)進(jìn)行上億次計(jì)算,告訴醫(yī)生哪些是腫瘤哪些不是。增強(qiáng)現(xiàn)實(shí)顯微鏡具備的癌癥知識(shí)是由眾多病理學(xué)家通過(guò)訓(xùn)練機(jī)器學(xué)習(xí)模型賦予的。ARM有一個(gè)病理學(xué)家團(tuán)隊(duì),他們用上萬(wàn)張圖片來(lái)教計(jì)算機(jī)如何識(shí)別癌細(xì)胞。
這套系統(tǒng)可以讓醫(yī)生的工作更快,效果更好,提高癌癥診斷的精確度。
谷歌ARM項(xiàng)目的一個(gè)值得注意的方面是,它致力于補(bǔ)充而不是取代醫(yī)院和診所中常見的現(xiàn)有顯微鏡。其目的是創(chuàng)建一個(gè)可以輕松改裝到醫(yī)療機(jī)構(gòu)基礎(chǔ)設(shè)施中的系統(tǒng)。ARM可以提供豐富的視覺反饋,包括文本、箭頭、輪廓、熱圖和動(dòng)畫。上述要素中的每一個(gè)都可以根據(jù)具體的評(píng)估目標(biāo)進(jìn)行定制,這就為病理學(xué)家提供了一個(gè)增強(qiáng)診斷能力的強(qiáng)大工具。
簡(jiǎn)易實(shí)用,方便存儲(chǔ)
目前有13個(gè)ARM原型正在進(jìn)行測(cè)試,其中一個(gè)位于華盛頓特區(qū)近郊的Mitre公司。
Mitre是一家非營(yíng)利組織,與政府機(jī)構(gòu)合作解決涉及技術(shù)的重大問(wèn)題。該公司以網(wǎng)絡(luò)安全、航空科技著稱,是全球網(wǎng)絡(luò)安全領(lǐng)域技術(shù)創(chuàng)新的領(lǐng)跑者。疫情期間,該公司曾幫助美國(guó)疾控中心建立疫情監(jiān)控系統(tǒng),合作對(duì)抗新冠病毒大流行。目前Mitre的研究人員正在與ARM合作,以確定在臨床環(huán)境中可能給病理學(xué)家?guī)?lái)的漏洞。
近年來(lái),就像醫(yī)療服務(wù)的許多其他方面一樣,病理學(xué)家一直在為人員短缺而苦惱。隨著普通人群年齡增長(zhǎng),患者增多,病理學(xué)家的工作量也在日益增加。這種局面很危險(xiǎn)。如果因病理學(xué)家人手緊張而在檢測(cè)中遺漏了什么,很可能會(huì)對(duì)患者產(chǎn)生嚴(yán)重后果。一些相關(guān)機(jī)構(gòu)一直在嘗試將病理學(xué)家的工作流程數(shù)字化,以提高效率,但數(shù)字病理也帶來(lái)了許多挑戰(zhàn)。數(shù)字化一張幻燈片可能需要超過(guò)千兆字節(jié)的存儲(chǔ)空間,這會(huì)使與大規(guī)模數(shù)據(jù)收集相關(guān)的基礎(chǔ)設(shè)施和成本迅速大幅增長(zhǎng)。對(duì)于許多經(jīng)費(fèi)不多的較小衛(wèi)生機(jī)構(gòu)來(lái)說(shuō),實(shí)現(xiàn)數(shù)字化是有一定難度的。
ARM有意選擇了一種簡(jiǎn)易實(shí)用的設(shè)計(jì)。Mitre的自主系統(tǒng)高級(jí)工程師Patrick Minot說(shuō):“ARM人工智能直接覆蓋在顯微鏡的視野上,它不會(huì)中斷病理學(xué)家既定的工作流程。它并非要取代數(shù)字病理系統(tǒng),而是可以幫助人們避開對(duì)數(shù)字病理系統(tǒng)的需求。例如,病理學(xué)家可以選擇使用ARM的軟件對(duì)幻燈片進(jìn)行截屏,這些軟件的存儲(chǔ)成本要低得多?!辟?gòu)置一套ARM設(shè)備約需花費(fèi)9萬(wàn)至10萬(wàn)美元,這對(duì)于眾多規(guī)模不大的部隊(duì)醫(yī)院和普通醫(yī)療機(jī)構(gòu)是完全可以承受的。
構(gòu)筑第二道防線
ARM的最初創(chuàng)意來(lái)自一位在海軍服役的病理學(xué)家——Niels Olson博士。2016年8月10日,Olson在圣地亞哥海軍醫(yī)療中心做住院醫(yī)生時(shí),已經(jīng)設(shè)計(jì)出了像類似ARM這樣的工具。他發(fā)給谷歌一條信息,描述了他的大致想法。
幾個(gè)月后,Olson站在了加州山景城的谷歌辦公樓里,擠在一間只有公司少數(shù)人才能進(jìn)入的鎖著的房間中。在那里,他看到一臺(tái)早期的人工智能顯微鏡在他隨身攜帶的一小組載玻片上成功地識(shí)別出癌癥。Olson說(shuō),當(dāng)時(shí)感覺房間里很悶熱,因?yàn)槔锩娴拿總€(gè)人都特別興奮。Olson說(shuō):“我不想說(shuō)這就像是第一次見到你的孩子,但這有點(diǎn)像,這太棒了,這將是一件大事。”。
2018年,Olson被派往關(guān)島,在那里擔(dān)任海軍醫(yī)院的實(shí)驗(yàn)室醫(yī)學(xué)主任和血庫(kù)主任。在關(guān)島的兩年里,他是島上兩名病理學(xué)家之一,也是海軍醫(yī)院唯一的病理學(xué)家。這意味著他經(jīng)常獨(dú)自做出重大決策和診斷。
Olson在接受媒體采訪時(shí)說(shuō):“你的工作不僅僅是說(shuō)‘這是癌癥,這是一種癌癥?!ぷ鞯囊徊糠质钦f(shuō)‘絕對(duì)不是癌癥’,當(dāng)你獨(dú)自一人時(shí),這可能會(huì)讓人神經(jīng)緊張?!薄!拔液芟朐陉P(guān)島擁有一臺(tái)增強(qiáng)現(xiàn)實(shí)顯微鏡,這樣就會(huì)有人,有其他人在幫忙?!?/p>
ARM旨在成為病理學(xué)家的第二道防線,Olson表示,它不會(huì)取代醫(yī)生。增強(qiáng)現(xiàn)實(shí)顯微鏡的最初使用案例可能是在較小的遠(yuǎn)程實(shí)驗(yàn)室中,它也可以作為病理學(xué)住院醫(yī)師培訓(xùn)的資源。
大約在Olson被派往關(guān)島的時(shí)候,美國(guó)國(guó)防部DIU(Defense Innovation Unit:國(guó)防創(chuàng)新部門)的一位產(chǎn)品經(jīng)理偶然發(fā)現(xiàn)了他的研究。DIU創(chuàng)建于2015年,是軍方整合商業(yè)界開發(fā)尖端技術(shù)的一個(gè)部門。該部門與公司談判合同,以便能夠展開合作,并避免官僚作風(fēng)。2019年,兩人共同撰寫了一篇文章,講述了國(guó)防部和硅谷如何合作利用人工智能。
他們表示,聯(lián)邦政府的醫(yī)療保健系統(tǒng)中有數(shù)百萬(wàn)患者,這意味著它擁有世界上最全面的醫(yī)療保健數(shù)據(jù)集。這些數(shù)據(jù)顯然具有商業(yè)用途。他們寫道:“大數(shù)據(jù)是硅谷做得最好的,向民用醫(yī)療系統(tǒng)擴(kuò)散的潛力巨大?!贝撕蟛痪茫珼IU開始尋找商業(yè)合作伙伴來(lái)幫助構(gòu)建和測(cè)試ARM。它選擇了著名光學(xué)技術(shù)公司Jenoptik處理硬件,在評(píng)估了39家公司后選擇了谷歌來(lái)開發(fā)軟件。
推出四種算法,仍需大量測(cè)試
谷歌云醫(yī)療保健戰(zhàn)略和解決方案全球總監(jiān)Aashima Gupta表示,該公司已經(jīng)為ARM推出了四種算法,可以識(shí)別乳腺癌、宮頸癌、前列腺癌和有絲分裂。
人工智能模型是根據(jù)DIU的數(shù)據(jù)進(jìn)行訓(xùn)練的。Gupta表示,谷歌員工和谷歌基礎(chǔ)設(shè)施都無(wú)法訪問(wèn)這些數(shù)據(jù)。Gupta在接受媒體采訪時(shí)說(shuō):“它一直都是加密的,從數(shù)據(jù)的收集方式、存儲(chǔ)方式和分析方式、以及介于它們之間的一切。”
隨著硬軟件就緒,下一步需要對(duì)ARM進(jìn)行大量測(cè)試。DIU已經(jīng)開始了這方面的初步工作,目前正在測(cè)試ARM的功效。2022年秋季,該組織在《病理信息學(xué)雜志》上發(fā)表了一篇同行評(píng)審論文。論文的主要作者、國(guó)防部首席數(shù)字和人工智能辦公室人工智能評(píng)估副主任David Jin表示,該論文指出了乳腺癌人工智能算法在大量樣本中表現(xiàn)相當(dāng)不錯(cuò),但也有一些需要注意的地方。這篇論文還專門研究了人工智能在檢測(cè)癌癥淋巴結(jié)轉(zhuǎn)移時(shí)的表現(xiàn),金說(shuō)它在某些類型的細(xì)胞上比其他類型的細(xì)胞表現(xiàn)更好。他說(shuō),這項(xiàng)研究很有希望,但在為病理學(xué)家提供真正的幫助之前,仍需要進(jìn)行大量嚴(yán)格的測(cè)試。金指出:“這樣的事情有極大的好處,但也有很多風(fēng)險(xiǎn)?!币?yàn)樗鼤?huì)改變癌癥的診斷方式。
Niels Olson從關(guān)島返回,于2020年開始在DIU工作,成為DIU的首席醫(yī)療官。他也被列為該論文的作者。他說(shuō),其他三種模型,即宮頸癌、前列腺癌和有絲分裂,尚未在DIU進(jìn)行獨(dú)立評(píng)估。
國(guó)防部DIU(國(guó)防創(chuàng)新部門)首席醫(yī)療官Niels Olson博士在使用增強(qiáng)現(xiàn)實(shí)顯微鏡
ARM的研究正在進(jìn)行之中,DIU還在征求Mitre公司和退伍軍人事務(wù)部衛(wèi)生保健系統(tǒng)的反饋,還有很多工作要做。但由于已經(jīng)驗(yàn)證了最初的概念,DIU開始考慮如何擴(kuò)大技術(shù)規(guī)模并與監(jiān)管機(jī)構(gòu)合作。
DIU與谷歌和Jenoptik談判達(dá)成協(xié)議,允許該技術(shù)通過(guò)軍事和商業(yè)渠道分發(fā)。DIU希望在今年秋天的某個(gè)時(shí)候,通過(guò)負(fù)責(zé)政府采購(gòu)的美國(guó)總務(wù)管理局的網(wǎng)站,向所有政府用戶推出ARM。
西雅圖退伍軍人醫(yī)院的Zafar醫(yī)生表示,ARM首先肯定會(huì)幫到病理學(xué)家,但公眾最終將從這項(xiàng)技術(shù)中受益最大。ARM的準(zhǔn)確性、速度和成本效益都將有助于更好的診斷和治療。
改變與期待
增強(qiáng)現(xiàn)實(shí)顯微鏡通過(guò)提供實(shí)時(shí)視覺增強(qiáng),以協(xié)助病理學(xué)家進(jìn)行關(guān)鍵性工作,有可能徹底改變癌癥檢測(cè)和診斷的方式。
谷歌致力于加強(qiáng)現(xiàn)有的醫(yī)療保健基礎(chǔ)設(shè)施,同時(shí)探索增強(qiáng)現(xiàn)實(shí)加持人工智能的無(wú)限可能性,突顯了它在塑造醫(yī)療保健和技術(shù)未來(lái)方面的重要作用。
我們期待ARM早日正式投入使用,同時(shí)期待更多科技企業(yè)在醫(yī)療領(lǐng)域做出更多突破性的創(chuàng)新,以造福人類。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 乘云而上,OceanBase再越山峰
- 新浪新聞探索大會(huì)在京舉行 探索新質(zhì)生產(chǎn)力賦能產(chǎn)業(yè)新路徑
- 銷量差異背后:小米如何在全球競(jìng)爭(zhēng)中逆襲,國(guó)內(nèi)卻遭遇瓶頸?
- OPPO式出海,為全球化講一個(gè)“落地生根”的故事
- MLPerf Storage揭榜,「存儲(chǔ)」掛帥,驅(qū)動(dòng)AI上演“飛馳人生”
- 技術(shù)創(chuàng)新締造產(chǎn)業(yè)應(yīng)用價(jià)值,京東何曉冬論文獲CIKM最佳時(shí)間檢驗(yàn)獎(jiǎng)
- 高通揭開遮羞布,ARM已失去創(chuàng)新力,壟斷地位被動(dòng)搖
- 中國(guó)制造太厲害,售價(jià)降九成,三星被迫再關(guān)閉一項(xiàng)業(yè)務(wù)
- 麥當(dāng)勞、肯德基、星巴克拍短劇,短劇會(huì)成為品牌常規(guī)營(yíng)銷手段嗎?
- 今年雙11大變樣,淘寶京東不卷了!
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。