近年來(lái)，醫(yī)療行業(yè)積極擁抱人工智能，尤其在疫情的推動(dòng)下。根據(jù) Optum 的一項(xiàng)調(diào)查顯示，80% 的醫(yī)療機(jī)構(gòu)已經(jīng)制定了人工智能戰(zhàn)略，另有15% 計(jì)劃啟動(dòng)相關(guān)項(xiàng)目。為滿足需求，包括大型科技公司在內(nèi)的供應(yīng)商紛紛推出相關(guān)產(chǎn)品。

谷歌最近發(fā)布了 Med-PaLM2，這是一個(gè)用于回答醫(yī)學(xué)問(wèn)題和在醫(yī)學(xué)文本中發(fā)現(xiàn)洞見(jiàn)的人工智能模型。此外，像 Hippocratic 和 OpenEvidence 等初創(chuàng)公司正在開(kāi)發(fā)模型，為臨床醫(yī)生提供可操作的建議。

然而，隨著越來(lái)越多針對(duì)醫(yī)學(xué)應(yīng)用的模型上市，了解哪些模型是否能夠如廣告所述地發(fā)揮作用變得越來(lái)越具有挑戰(zhàn)性。由于醫(yī)學(xué)模型往往是使用來(lái)自有限、狹窄的臨床環(huán)境數(shù)據(jù)進(jìn)行訓(xùn)練（例如東海岸的醫(yī)院），一些模型對(duì)特定患者群體，通常是少數(shù)族裔群體，顯示出偏見(jiàn)，導(dǎo)致在現(xiàn)實(shí)世界中產(chǎn)生有害影響。

為了建立一個(gè)可靠、可信賴的方法來(lái)評(píng)估和評(píng)價(jià)醫(yī)療模型，工程協(xié)會(huì) MLCommons 開(kāi)發(fā)了一個(gè)名為 MedPerf 的新型測(cè)試平臺(tái)。MLCommons 表示，MedPerf 可以在 “多樣化的真實(shí)醫(yī)療數(shù)據(jù)” 上評(píng)估人工智能模型，并保護(hù)患者隱私。

MedPerf 是由醫(yī)療工作組牽頭進(jìn)行的為期兩年的合作成果，得到了行業(yè)和學(xué)術(shù)界的反饋，其中包括20多家公司和20多家學(xué)術(shù)機(jī)構(gòu)的意見(jiàn)。與 MLCommons 的通用人工智能基準(zhǔn)套件（如 MLPerf）不同，MedPerf 設(shè)計(jì)用于醫(yī)療模型的操作人員和客戶，即醫(yī)療機(jī)構(gòu)，而不是供應(yīng)商。

通過(guò) “聯(lián)邦評(píng)估”，MedPerf 平臺(tái)上的醫(yī)院和診所可以根據(jù)需要評(píng)估人工智能模型，并在現(xiàn)場(chǎng)進(jìn)行評(píng)估。

MedPerf 支持流行的機(jī)器學(xué)習(xí)庫(kù)，以及僅通過(guò) API 提供的私有模型和模型，例如 Epic 和 Microsoft 的 Azure OpenAI Services。

今年早些時(shí)候，MedPerf 在一個(gè)系統(tǒng)測(cè)試中舉辦了由 NIH 資助的 Federated Tumor Segmentation （FeTS） Challenge，這是一個(gè)評(píng)估膠質(zhì)母細(xì)胞瘤(一種侵襲性腦)術(shù)后治療模型的大規(guī)模比較。MedPerf 今年支持了41個(gè)不同的模型的測(cè)試，這些模型在32個(gè)來(lái)自六個(gè)大洲的醫(yī)療機(jī)構(gòu)的系統(tǒng)上運(yùn)行，既有本地部署也有云端部署。

根據(jù) MLCommons 的說(shuō)法，所有模型在與訓(xùn)練數(shù)據(jù)的患者人口學(xué)特征不同的醫(yī)療機(jī)構(gòu)中表現(xiàn)出了降低的性能，揭示了其中存在的偏見(jiàn)。

MLCommons 認(rèn)為，MedPerf 目前主要用于評(píng)估放射學(xué)掃描分析模型，是實(shí)現(xiàn)其通過(guò) “開(kāi)放、中立和科學(xué)方法” 加速醫(yī)療人工智能的 “基礎(chǔ)步驟”。它呼吁人工智能研究人員使用該平臺(tái)驗(yàn)證自己的模型，并鼓勵(lì)數(shù)據(jù)所有者注冊(cè)其患者數(shù)據(jù)，以增加 MedPerf 測(cè)試的可靠性。

然而，這個(gè)平臺(tái)是否真正解決了醫(yī)療人工智能領(lǐng)域中棘手的問(wèn)題仍然值得商榷。杜克大學(xué)研究人員最近編寫(xiě)的一份報(bào)告揭示了人工智能營(yíng)銷和將技術(shù)應(yīng)用于醫(yī)生、護(hù)士及其周?chē)鷱?fù)雜的醫(yī)療系統(tǒng)和技術(shù)系統(tǒng)的日常工作之間的巨大差距。往往情況并不僅僅是模型的問(wèn)題，而是如何將技術(shù)融入到醫(yī)療工作中，包括設(shè)備的部署、互聯(lián)網(wǎng)連接強(qiáng)度以及患者對(duì)人工智能輔助評(píng)估的反應(yīng)。

醫(yī)療從業(yè)者對(duì)醫(yī)療人工智能持有復(fù)雜的觀點(diǎn)。雅虎金融的一項(xiàng)調(diào)查發(fā)現(xiàn)，55% 的醫(yī)護(hù)人員認(rèn)為這項(xiàng)技術(shù)還不準(zhǔn)備好使用，只有26% 的人認(rèn)為可以信任。

這并不意味著醫(yī)學(xué)模型偏見(jiàn)不是一個(gè)真正的問(wèn)題，它確實(shí)存在并產(chǎn)生后果。例如，Epic 的系統(tǒng)用于識(shí)別敗血癥病例，但發(fā)現(xiàn)錯(cuò)過(guò)了許多病例，并經(jīng)常發(fā)出誤報(bào)。同時(shí)，對(duì)于不是谷歌或微軟這樣規(guī)模的組織來(lái)說(shuō)，獲得多樣化、及時(shí)的醫(yī)療數(shù)據(jù)并非易事。

然而，將人們的健康問(wèn)題過(guò)分依賴像 MedPerf 這樣的平臺(tái)是不明智的。畢竟，基準(zhǔn)測(cè)試只能告訴我們故事的一部分。安全地部署醫(yī)療模型需要供應(yīng)商及其客戶進(jìn)行持續(xù)、徹底的審計(jì)，更不用說(shuō)研究人員了。缺乏此類測(cè)試是不負(fù)責(zé)任的行為。