在許多臨床和研究環(huán)境中，缺乏高質(zhì)量的醫(yī)學(xué)成像數(shù)據(jù)集阻礙了人工智能（AI）臨床應(yīng)用的潛力。這一問題在不太常見的情況、代表性不足的人群和新興的成像方式中尤為突出，在這些情況下，各種綜合數(shù)據(jù)集的可用性往往不足。
2024年12月11日，溫州醫(yī)科大學(xué)瞿佳、張康、北京大學(xué)未來技術(shù)學(xué)院王勁卓等人在國際頂尖醫(yī)學(xué)期刊 Nature Medicine 上發(fā)表了題為：Self-improving generative foundation model for synthetic medical image generation and clinical applications 的研究論文。
研究團隊開發(fā)了一種統(tǒng)一的醫(yī)學(xué)圖像-文本生成模型——MINIM。MINIM模型集成了醫(yī)學(xué)圖像與文本描述，涵蓋了多種模式和器官，包括光學(xué)相干斷層掃描（OCT）、眼底、胸部X光和胸部計算機斷層掃描（CT）等，能夠基于文本指令在不同的成像模式下合成不同器官的醫(yī)學(xué)圖像，具有作為通用醫(yī)學(xué)人工智能（generalist medical AI，GMAI）的潛力。
大型醫(yī)療數(shù)據(jù)集的可用性對于推動人工智能（AI）模型開發(fā)和臨床應(yīng)用至關(guān)重要。然而，隱私問題帶來了重要的道德和法律問題，使得共享此類數(shù)據(jù)變得困難。由于缺乏高質(zhì)量的影像數(shù)據(jù)集，阻礙了前沿AI技術(shù)與醫(yī)學(xué)及醫(yī)療應(yīng)用的整合。
為了解決這一挑戰(zhàn)，數(shù)據(jù)增擴（Data Augmentation）和使用生成式人工智能（Generative AI）的合成圖像已成為關(guān)鍵解決方案。生成式AI在醫(yī)學(xué)影像學(xué)研究中取得了重大突破，增強了對病歷和圖像的分析，改善了診療計劃。
生成式對抗網(wǎng)絡(luò)（GAN）已被廣泛用于生成合成醫(yī)學(xué)圖像，在提高AI模型的數(shù)據(jù)可用性方面取得了顯著進展。此外，建立在GAN基礎(chǔ)上的新管線還納入了分割技術(shù)，以進一步減少所需的訓(xùn)練數(shù)據(jù)集數(shù)量，特別適用于數(shù)據(jù)稀缺場景（例如罕見?。?。這些研究表明，在單一的醫(yī)學(xué)成像模式中，生成式AI可以生成高質(zhì)量的合成圖像，這些圖像可作為支持醫(yī)學(xué)成像研究的寶貴資產(chǎn)。
然而，傳統(tǒng)的基于GAN的圖像生成難以生成不同維度的圖像，因此，往往限于單一成像模式。對單一模式的有限探索和對不同醫(yī)學(xué)影像模式之間關(guān)系的缺乏研究，進一步阻礙了廣泛的多模態(tài)醫(yī)學(xué)影像數(shù)據(jù)集的充分利用和通用醫(yī)學(xué)生成式模型的發(fā)展。
為了解決上述問題，研究團隊開發(fā)了一種統(tǒng)一的醫(yī)學(xué)圖像-文本生成模型——MINIM。MINIM集成了醫(yī)學(xué)圖像與文本描述，涵蓋了多種模式和器官，包括光學(xué)相干斷層掃描（OCT）、眼底、胸部X光和胸部計算機斷層掃描（CT）等。
MINIM模型能夠基于文本指令在不同的成像模式下合成不同器官的醫(yī)學(xué)圖像。研究團隊評估了MINIM基于文本輸入生成合成圖像的性能，并在不同的醫(yī)學(xué)影像場景中與其他最新生成模型進行了性能測試。臨床醫(yī)師的評估和嚴格的客觀測量驗證了MINIM模型生成的合成圖像的高質(zhì)量。
研究團隊還通過納入額外的腦部和乳腺磁共振成像（MRI）數(shù)據(jù)集，探索了MINIM模型的適應(yīng)性，從而評估MINIM模型在持續(xù)學(xué)習(xí)和整合新醫(yī)學(xué)知識方面的潛力。
MINIM在數(shù)據(jù)域上表現(xiàn)出更強的生成能力，顯示出其作為通用醫(yī)學(xué)人工智能（generalist medical AI，GMAI）的潛力。
研究結(jié)果表明，MINIM模型生成的合成圖像有效地增強了現(xiàn)有的數(shù)據(jù)集，提高了診斷、報告生成和自我監(jiān)督學(xué)習(xí)等多種醫(yī)療應(yīng)用的性能。平均而言，MINIM模型能提高12%的眼科、15%的胸部、13%的大腦和17%的乳房相關(guān)任務(wù)的表現(xiàn)。此外，該研究還證明了MINIM模型在從磁共振成像（MRI）圖像中準(zhǔn)確預(yù)測HER2陽性乳腺癌方面的潛在臨床應(yīng)用。通過大型回顧性模擬分析，研究團隊證明了MINIM模型的臨床潛力，該模型通過肺癌CT圖像準(zhǔn)確識別了靶向治療敏感的EGFR突變，這可能提高患者的5年生存率。
總的來說，該研究開發(fā)了在真實數(shù)據(jù)和合成數(shù)據(jù)上訓(xùn)練的生成式AI模型，顯示出更好的預(yù)測能力，在罕見病診斷、報告生成和自我監(jiān)督學(xué)習(xí)的背景下非常有益。在臨床中證明了MINIM模型可以顯著提高乳腺HER2突變的檢測。此外，在臨床研究中，將MINIM模型應(yīng)用于EGFR突變癌癥的靶向治療，在兩個獨立的隊列中證實了能夠提高患者的5年生存率。
論文鏈接：https://www.nature.com/articles/s41591-024-03359-y
合作咨詢
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2024 上海博華國際展覽有限公司版權(quán)所有（保留一切權(quán)利）
滬ICP備05034851號-57
