糖尿病は世界で最も急速に増加している主要な慢性疾患であり、失明、腎不全、切断、脳卒中、心筋梗塞などの合併症を引き起こします。また、腫瘍や感染症とも密接に関連しています。これらの合併症の中で、糖尿病網膜症（DR）は糖尿病患者における最も一般的な進行性眼微小血管合併症であり、全糖尿病患者の30～40%が罹患しています。

さらに重要なのは、糖尿病（DR）の存在は、腎臓、心臓、脳などの他の合併症のリスク増加も示唆することです。そのため、定期的なDRスクリーニングは、糖尿病のプライマリケアの重要な部分として推奨されています。しかし、インフラと人材の不足、そして高額な費用のために、低所得国および中所得国ではDRスクリーニングがしばしば見落とされています。

近年、人工知能、特にディープラーニングは、糖尿病とその合併症の管理においてますます重要な役割を果たしています。しかし、従来のソリューションは、糖尿病合併症のスクリーニングかその管理支援のいずれか一方に重点を置くことが多く、この2つの重要な側面を同時に統合することは稀でした。糖尿病治療意見の自動生成と糖尿病網膜症の正確な診断を効果的に統合し、安全で制御可能なマルチモーダル・インテリジェントモデルを構築することで、プライマリケア医がワンストップで診断・治療支援サービスを提供することを支援することは、現在の最先端のトレンドであり、国際的な医療分野における重要な課題です。

このような背景から、清華大学医学部副学長兼医学部長の黄天銀教授、上海交通大学教育部コンピュータサイエンス学科/人工知能重点実験室の盛斌教授、上海交通大学医学部付属第六人民病院の賈衛平教授と李華亭教授、シンガポール国立大学とシンガポール国立眼科センターの秦渭宗教授らのチームが協力し、糖尿病の診断と治療のための世界初の視覚・大規模言語モデル統合システム「DeepDR-LLM」の構築に成功しました。

「プライマリ糖尿病ケアのための画像ベースのディープラーニングと言語モデルの統合」と題された関連する研究結果が Nature Medicine に掲載されました。

DeepDR-LLMシステムは、大規模言語モデルと眼底画像に基づくディープラーニング技術を統合し、プライマリケア医に個別化された糖尿病管理アドバイスと糖尿病網膜症の補助診断結果を提供します。このシステムは、アジア、アフリカ、ヨーロッパの3つの主要地域にまたがる7カ国を対象とした多施設コホート研究で後方視的に検証され、さらに中国のプライマリヘルスケア現場における前向きな実世界研究によって検証されました。これにより、糖尿病ヘルスケアという垂直領域におけるマルチモーダル大規模モデルの有効性に関する、質の高いエビデンスに基づくエビデンスが初めて得られました。DeepDR-LLMシステムは、低・中所得国におけるプライマリヘルスケアにおける糖尿病管理と糖尿病性網膜症（DR）スクリーニングを大幅に改善し、将来の世界的な糖尿病管理のための革新的なデジタルソリューションを提供することが期待されています。

研究ハイライト：本研究では、融合アダプタと低ランク適応（LoRA）を連携させた革新的な最適化手法を提案します。DeepDR -Transformerモジュールは、50万枚以上の眼底画像で学習されたTransformerモデルアーキテクチャを組み込んでおり、眼底画像の品質検出、病変のセグメンテーション、DRグレーディング診断を高精度に実現します。*DeepDR-LLMシステムを糖尿病の診断・治療プロセスに統合することで、新たに糖尿病と診断された患者の自己管理行動を大幅に改善し、DR患者の紹介コンプライアンスを向上させることができます。

論文リンク: https://www.nature.com/articles/s41591-024-03139-8
完全な PDF を取得するには、当社の公式 WeChat アカウントをフォローし、バックグラウンドで「Diabetes Treatment LLM」と返信してください。
データセットのダウンロードリンク: https://go.hyper.ai/QmveC
オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、膨大なデータセットとツールを提供しています: https://github.com/hyperai/awesome-ai4s

データセット: 14の独立した横断データセット

本研究には、7名の糖尿病患者の標準眼底画像と7つの独立したポータブル眼底画像の横断データセットを含む、14の独立した横断データセットが含まれていました。標準眼底画像データセットについては、上海統合モデル（SIM）コホートと上海糖尿病予防プログラム（SDPP）コホートの2つのデータセットがDeepDR-Transformerモジュールの開発と内部検証に使用されました。

さらに、この研究では、外部検証のために12の多民族データセットを選択しました。ニクソン糖尿病スクリーニングプロジェクト（NDSP）コホート、糖尿病網膜症進行研究（DRPS）コホート、武漢同済健康管理（WTHM）コホート、北京協和医学院病院糖尿病管理（PUDM）コホート、中国国家糖尿病合併症研究（CNDCS）コホート、広州糖尿病性眼疾患研究（GDES）コホート、香港中文大学視力低下糖尿病網膜症（CUHK-STD）コホート、シンガポール眼疾患疫学研究（SEED）コホート、シンガポール国家糖尿病網膜症スクリーニングプロジェクト（SiDRP）コホート、サンカラネスラ糖尿病網膜症疫学および分子遺伝学研究（SN-DREAMS）です。コホート、タイ国立糖尿病網膜症スクリーニングプロジェクト（TNDRSP）コホート、および英国バイオバンク（UKB）コホートです。

外部検証には、以下の 6 つの追加データセットが使用されました：中国ポータブル糖尿病網膜症スクリーニング研究 - 東部 (CPSSDRE) コホート、中国ポータブル糖尿病網膜症スクリーニング研究 - 中部 (CPSSDRM) コホート、中国ポータブル糖尿病網膜症スクリーニング研究 - 西部 (CPSSDRW) コホート、中国ポータブル糖尿病網膜症スクリーニング研究 - 北東部 (CPSSDRN) コホート、アルジェリア糖尿病網膜症研究 (ADRS) コホート、およびウズベキスタン糖尿病網膜症研究 (UDRS) コホート。

CPSSDRE、CPSSDRM、CPSSDRW、CPSSDRNの各コホートは、Phoebusmedの支援を受けた実世界DRスクリーニングプロジェクトから得られたものです。ADRSデータセットとUDRSデータセットでは、それぞれアルジェリアとウズベキスタンの地域から参加者が募集され、眼底画像はキヤノン、トプコン、カールツァイス、オプトメッド、マイクロクリアなどの様々なデスクトップ型およびハンドヘルド型の眼底カメラを用いて撮影されました。

モデル アーキテクチャ: DeepDR-LLM は、LLM と DeepDR-Transformer という 2 つの主要モジュールで構成されています。

DeepDR-LLM システムは、次の図に示すように 2 つのモジュールで構成されています。

• モジュール I (LLM モジュール) では、糖尿病患者に個別の管理アドバイスを提供します。
• モジュール II (DeepDR-Transformer モジュール) は、標準またはポータブル眼底画像から画像品質評価、病変セグメンテーション、および DR グレーディングを実行します。

DeepDR-LLM システムアーキテクチャ

LLMモジュールの教師付き微調整

まず、研究者らは LLaMA を微調整して LLM モジュールを開発しました。

モジュールIは、ドメイン知識を強化したLLMモデルであり、病歴、身体検査、臨床検査、DRおよびDMEの診断結果など、様々な臨床メタデータに基づいて糖尿病管理に関する推奨事項を作成するように設計されています。ドメイン固有の知識が不足しているため、初期のLLM（すなわちLLaMA）は、糖尿病管理に関する推奨事項の作成に直接効果を発揮しません。

このギャップを踏まえ、研究者らは糖尿病管理関連の知識をLLMの学習プロセスに統合する教師ありファインチューニング手法を開発した。ベースとなるLLMに必要なドメイン知識を追加することで、このアプローチはモデルの糖尿病管理に関する推奨を生成する能力を向上させる。教師ありファインチューニングデータセットは、上海第六人民病院と華東療養所の267,730人の参加者から遡及的に得られた371,763組の臨床データと、収集後に匿名化された実臨床における管理推奨から構成されていた。

LLMの微調整中にすべてのパラメータ（つまりLLMの元の重み）を更新することは、効率の観点から明らかに最適ではないため、研究チームは革新的な融合アダプタと低ランク適応（LoRA）協調最適化手法を提案し、LLaMAを含む大規模言語モデルに適応可能なDeepDR-LLMマルチモーダル大規模モデルを構築しました。LLMモジュールは、大規模言語モデル固有の重みパラメータをトレーニングネットワーク層に統合することで、計算リソースの制約が少ない状況下でのマルチモーダル大規模モデル最適化のボトルネックを打破しました。

DeepDR-Transformerモジュールの開発とトレーニング

モジュールIIは、モジュールIのツールとして、眼底画像をDR予測のために分析するために使用できます。そのため、研究者らは、特定のタスクに合わせて微調整することで眼底画像から様々な特徴を抽出できるDeepDR-Transformerと呼ばれるスタンドアロンモデルを提案しました。

研究者らは、標準的な眼底画像を用いて、DeepDR-Transformerを4つのタスクで学習させました。すなわち、画質評価モデル（評価可能性の判断）、DRグレーディング予測モデル、DME予測モデル（存在の判断）、病変セグメンテーションモデル（小動脈瘤、出血、軟性白斑、硬性滲出液）です。各モデルには、ImageNetから事前学習済みの重みが読み込まれ、その後、エンドツーエンドで微調整が行われました。

統合モジュールIとモジュールII

DeepDR-LLM システムには、モジュール I とモジュール II の 2 つの統合モジュール モードがあります。

医師が関与する統合モードでは、モジュール II の出力 (眼底画像の等級分け、小動脈瘤、軟性白斑、硬性滲出液および出血の病変のセグメンテーション、DR グレード、および DME グレード) は、医師が DR/DME 診断結果 (眼底画像の等級分け、DR グレード、DME グレード、および病変の有無) を生成するのに役立ちます。

自動統合モードでは、DR/DME診断結果には、眼底画像のグレーディング、DRグレーディング、モジュールIIで分割されたDMEグレーディング、およびモジュールIIでセグメント化された病変の存在が含まれます。これらのDR/DME診断結果とその他の臨床メタデータは、モジュールIに入力され、糖尿病患者に合わせた個別管理推奨事項を生成します。

研究結果: DeepDR-LLM システムは、プライマリケアの DR スクリーニング機能と糖尿病の診断および治療レベルを向上させることができます。

研究チームは、香港中文大学のジュリアナ・CN・チャン教授、上海交通大学医学部付属第六人民病院のユチエン・バオ教授、オーストラリアのベイカー心臓糖尿病研究所のジョナサン・E・ショー教授、米国のジョンズ・ホプキンス大学のジャスティン・B・エシュフォ・チェウギ教授、シンガポール国立眼科センターのギャビン・シュー・ウェイ・タン教授など、糖尿病関連分野の著名な学者を招き、国際的な学際的専門家委員会を結成した。

専門委員会は、中国31省・地域を対象とした中国糖尿病慢性合併症研究コホートから無作為に100症例を抽出し、各症例の診断と治療に関するコンセンサスを形成しました。このコンセンサスを標準回答として、DeepDR-LLMシステムとプライマリケア医（PCP）による診断と治療に関する意見を盲検化スコアリングしました。

まず、DeepDR-LLM システムが中国語と英語の両方で糖尿病管理アドバイスを提供する能力に関して、次の図は、英語と中国語で、不適切な内容の程度、内容が欠落している程度、および危害の可能性の可能性という 3 つの異なる領域において、4 つの異なる方法 (DeepDR-LLM、LLaMA、PCP、研修医) によって生成された糖尿病管理アドバイスの評価結果をまとめたものです。

評価者は、糖尿病患者に対する管理推奨事項を 3 つの側面から評価するよう求められました。

英語では、DeepDR-LLMの推奨の71%に不適切なコンテンツが含まれていないと評価され、LLaMA（51%）を上回りましたが、PCP（71%）とほぼ同水準でした。さらに、DeepDR-LLMの推奨の36%にはコンテンツが欠落していないと評価されました（PCP：27%）。最後に、DeepDR-LLMの推奨の57%が、害を引き起こす可能性が「低い」と評価され、PCPの55%とほぼ同等でした。

中国語では、DeepDR-LLMの推奨事項の77%に不適切なコンテンツが含まれていないと評価され、LLaMA（66%）およびPCP（54%）を上回りました。さらに、DeepDR-LLMの推奨事項の63%に欠落コンテンツが含まれていないと評価されたのに対し、PCPでは46%でした。DeepDR-LLMの推奨事項の88%が「危害をもたらす可能性が低い」と評価され、PCPでは60%でした。

下の図は、4つの異なる手法を用いて生成された管理推奨の総スコア（ドメイン固有のスコアの合計として定義）を示しています。英語では、DeepDR-LLMによる管理推奨はLLaMAによるものよりも有意に優れており（P < 0.001）、PCPおよび内分泌学レジデントによるものと同等でした。

中国語においては、DeepDR-LLMによる管理推奨は、LLaMA（P < 0.001）およびPCP（P = 0.010）による推奨よりも有意に優れていたものの、内分泌内科レジデントによる推奨と同等であった。言い換えれば、DeepDR-LLMシステムによって出力された診断および治療に関する意見の質は、プライマリケア医のそれと同等か、それを上回っていた。

LLaMA、DeepDR-LLM、PCP、内分泌学レジデントによって生成された管理推奨事項の合計スコア

その後、研究者らは、北京、上海、広州、武漢、香港などの中国の各都市、およびシンガポール、インド、タイ、英国、アルジェリア、ウズベキスタンの6か国から収集された50万枚以上の眼底画像を用いて、DeepDR-LLMシステムの外部テストを実施しました。英国、シンガポール、ベトナムなど多くのDRスクリーニングプログラムで現在活躍しているPCP（主治医）や専門の非医師トリアージ担当者が、紹介対象となるDR症例を特定するための補助ツールとしてDeepDR-Transformerの有効性を評価するため、研究者らは、下図に示すように、DeepDR-Transformerモジュールの有無によるトリアージプロセスの精度と時間効率を評価しました。

参照DRの識別におけるDeepDR-Transformer単独使用とPCP使用のパフォーマンス

結果によると、補助なしのPCPの感度範囲は37.2%～81.6%でしたが、DeepDR-Transformerの支援により78.0%～98.4%に向上しました。同様に、特異度は補助なしの84.4%～94.8%から補助ありの90.4%～98.8%に向上しました。

さらに、DeepDR-Transformerの活用により、評価時間の中央値は片眼あたり14.66秒から11.31秒に短縮されました。これは、DR分類の精度と効率性の両方が大幅に向上し、診断能力が専門眼科医のレベルにまで達したことを示しています。さらに、研究チームは統合されたDeepDR-LLMシステムを実際の臨床手順に適用し、中国のプライマリケア糖尿病患者769名を対象とした前向き研究を実施しました。この研究により、DeepDR-LLMシステムを糖尿病管理プロセスに組み込むことで、新規糖尿病患者の自己管理行動が大幅に改善され、DR患者の紹介コンプライアンスも向上することが実証されました。

アジアの知恵をインテリジェントな糖尿病管理に役立てる

今日、糖尿病の有病率の上昇は、中国および世界において公衆衛生上の重大な課題となっています。人工知能、特にディープラーニングは、糖尿病とその合併症の管理においてますます重要な役割を果たしています。前述の清華大学チーム、上海交通大学チーム、シンガポール国立大学チーム、シンガポール国立眼科センターチームの専門家は、長年にわたりこの分野に深く関わってきました。

2017年、当時シンガポール国立眼科センターの医療ディレクターであった黄天銀教授と彼のチームは、ディープラーニングアルゴリズムに基づき、多民族集団における中等度から重度のDR症例の自動診断を世界で初めて実現しました。この成果はJAMA誌に掲載され、インテリジェント医療の発展の歴史において画期的な意義を有しています。

2018年、賈衛平教授と李華亭教授のチームは、上海交通大学電子情報・電気工学学院の盛斌教授のチームと協力し、医学と工学の分野における学際的なイノベーションを推進しました。シンガポール国立眼科センターなどの国際トップクラスの学術機関と協力し、上海市科学技術委員会と上海交通大学の支援を受けて、「上海市『一帯一路』代謝性疾患のインテリジェント予防・制御国際共同実験室」の設立が承認されました。代謝性疾患のインテリジェント予防・制御分野における広範な学際的・国際的協力の推進を目指しています。

設立以来、共同研究室は数百万点のデータポイントを分析し、転移強化型マルチタスクディープラーニングシステム「DeepDR」を開発しました。このシステムは、軽度病変から増殖性病変まで、糖尿病網膜症（DR）の全経過を自動診断することを可能にします。また、眼底画像の品質に関するリアルタイムフィードバックを提供し、眼底病変を識別・セグメント化することも可能です。この技術は、国際糖尿病連合（IDF）の「低・中所得国向け世界糖尿病網膜症スクリーニングプロジェクト」にも応用され、48カ国に拡大されています。

「糖尿病網膜症を疾患範囲全体で検出するためのディープラーニングシステム」と題されたこの研究結果は、2021年にネイチャー・コミュニケーションズ誌に掲載された。

• 論文リンク: https://www.nature.com/articles/s41467-021-23458-5
  

2021年末、黄天銀教授は清華大学の医学部長兼教授に任命され、糖尿病や眼合併症の診断と治療における人工知能の応用に関するトランスレーショナルリサーチを積極的に進めています。継続的な共同研究を通じて、共同研究室と清華大学の黄教授チームは、ワイブル混合分布モデルに基づくディープラーニングシステム「DeepDR Plus」の構築に成功しました。このシステムは、米国Googleが開発したこの分野の従来の最先端技術を凌駕し、世界初となるDR（糖尿病性網膜症）の最大5年間のリスク警告と進行予測を実現しました。極めて低い偽陰性率を維持しながら、スクリーニングの頻度と公衆衛生コストを大幅に削減します。この研究成果は2024年1月にNature Medicine誌に掲載されました。

詳細レポートを見るにはクリックしてください：上海交通大学と清華大学は共同で、眼底画像のみを使用して5年以内の糖尿病網膜症の進行を予測できるDeepDR Plusをリリースしました（https://mp.weixin.qq.com/s/9pqic3y9anEaFmMn2qLsYw）。

結論として、DeepDR-LLMの出現は、これまでの研究成果の集大成と言えるでしょう。人間中心主義とインテリジェント・フォー・グッドの原則を堅持し、研究者たちは草の根レベルで糖尿病管理の将来的な変革に向けた質の高いエビデンスを提供し、世界の糖尿病ガバナンスをデジタル化、インテリジェンス化、グリーン開発の潮流により適切に統合し、アジアの知恵をインテリジェントな糖尿病ガバナンスに活かしています。

参考文献:
1.https://mp.weixin.qq.com/s/MBtm0hY0gKE8NRQ8GfDy7A
2.https://www.nsfc.gov.cn/csc/20340/20343/68143/index.html
3.https://www.tsinghua.edu.cn/info/1182/112946.htm

最後に、オンライン学術交流イベントの開催をおすすめします。ご興味のある方はQRコードをスキャンしてご参加ください！