理化学研究所（理研）革新知能統合研究センター（AIP）目的指向基盤技術研究グループがん探索医療研究チームの小松正明副チームリーダー，浜本隆二チームリーダー，理研AIP-富士通連携センター^[1]の酒井彬客員研究員，昭和大学医学部産婦人科学講座の松岡隆准教授，小松玲奈助教らの共同研究グループは，超音波検査に人工知能（AI）技術を適用する上で，AIの判定根拠を可視化して検査者の診断を支援する新技術を開発した。

本研究成果は，胎児心臓超音波スクリーニング^[2]におけるAIを活用した超音波画像診断支援技術の臨床応用に貢献すると期待できる。

今回，共同研究グループは，深層学習（ディープラーニング）^[3]を用いた新しい説明可能な表現「グラフチャート図」を開発した。この技術により，超音波検査において異常所見の有無を判定する際に，判定の根拠となる診断部位の検出結果を従来手法よりも明確に提示することが可能になった。また，実際に検査者がグラフチャート図を参考にすることで，胎児心臓超音波スクリーニング精度が向上することを確認した。

本研究は，科学雑誌『Biomedicines』オンライン版（2月25日付）に掲載された。

グラフチャート図を用いた超音波画像診断支援

背景

超音波検査は簡便性・非侵襲性・リアルタイム性に優れており，幅広い医学領域で使用されている。一方で，超音波検査ではプローブを手動走査して画像を取得するため，検査者間での診断技術の差異が大きいこと，また超音波画像は音響陰影（影）の影響を受けやすく，画質劣化および診断精度の低下につながることなど，特有の課題がある。よって，近年の人工知能（AI）の技術革新およびさまざまな医療分野への導入状況を踏まえて，これらの課題解決に向けたAIを活用した超音波画像診断支援技術の臨床応用が期待されている^注1）。

共同研究グループは，2018年度より胎児心臓超音波スクリーニング診断支援に向けたAI基盤技術の研究開発に取り組んできた^注2-3）。しかし，今後の臨床応用へ向けた課題の一つとして，複雑なディープニューラルネットワーク構造を持つAIの判定根拠について十分な説明性が得られないこと（ブラックボックス問題^[4]）が挙げられる。臨床現場においてAI搭載医療機器を利用する医療従事者だけでなく，診断結果をもとにインフォームドコンセントを受ける患者の信頼を得るためにも，よりAIの説明可能性を向上させることが求められていた。

^{注1）Komatsu, M. et al. Towards clinical application of artificial intelligence in ultrasound imaging. Biomedicines 9, 720 (2021).
注2）2018年9月18日プレスリリース「AIを用いた胎児心臓超音波スクリーニング 」
注3）2019年7月26日プレスリリース「AIを用いた超音波検査における影の自動検出 」}

研究手法と成果

超音波検査動画の解析手法として，共同研究グループが以前提案した，動画情報を二次元データに変換した「部位検出結果のバーコード表示」がある^注4）。部位検出結果バーコード表示は，検査対象の正常な部位構造について教師あり学習^[5]をさせ，取得した動画についてフレームごとに正常な部位構造の検出状況を一覧表示して保存したデータ。異常所見がある場合には，正常な部位構造が検出されず，正常からの逸脱によって異常と判定できる。また，部位構造ごとに位置・大きさ・検出の有無などの有効な情報を含んでいるため，動画全体に対して深層学習を適用するよりも説明可能性が高くなる。一方で，超音波検査動画を取得する際に起こりえるプローブの手振れや反復走査，また検査対象の動き（胎動など）には対応できないという弱点があった。

そこで，共同研究グループはこれらの弱点を克服しつつ，さらに説明可能性を向上させるための新たなアプローチとして，代表的な教師なし学習^[5]であるオートエンコーダ^[6]を用いて，上記バーコードから得られた分散表現^[7]を解析することで，新しい説明可能な表現「グラフチャート図」を開発した（図1）。

カーネル^[8]を検査時間経過に添ってバーコード上をスライドさせ，部位構造の検出情報を抽出してオートエンコーダに入力する。検出情報は二次元データに圧縮され，その分散表現の軌跡をプロットすることでグラフチャート図を作成する。グラフチャート図を作成する際には，view-proxy loss^[9]という新しい指標を導入している。この指標を最小限に抑えて最適化することで，オートエンコーダの学習を安定化させ，分散表現の軌跡が絡み合うことのないように工夫した。また，グラフチャート図の内面積を用いて異常度スコア^[10]を算出する（図1）。なお，上述のプローブの手振れや反復走査，検査対象の動きについては，グラフチャート図では同一の軌跡をたどるため，その影響を最小化できる。

図1 オートエンコーダを用いたグラフチャート図の作成
カーネルを検査時間経過に添ってバーコード上を右方向にスライドさせ，部位構造の検出情報を抽出する。その検出情報をオートエンコーダ（エンコーダ・デコーダ）に入力して二次元データに圧縮し，その分散表現の軌跡をプロットすることで，グラフチャート図を作成する（カーネル：黄緑丸，移動方向：赤矢印）。また，グラフチャート図の内面積（緑色）を用いて異常度スコアを算出する。

次に，昭和大学病院産婦人科の胎児心臓超音波スクリーニングにおいて取得された，正常胎児および代表的な先天性心疾患であるファロー四徴症^[11]の超音波検査動画にグラフチャート図を適用したところ，疾患の特徴を捉えていることが確認できた（図2）。

図2 胎児心臓超音波スクリーニング動画へのグラフチャート図の適用
灰色点は各カーネルに対応しており，いくつかの点は胎児心臓超音波スクリーニングの基本診断面に対応している。四腔断面（four-chamber view）は青菱形点，三血管気管断面（three-vessel trachea view）は赤四角点で表示している。正常胎児と先天性疾患（ファロー四徴症）のグラフチャート図を比較すると，明確に形状が異なっていた。

さらに，オートエンコーダによる情報の圧縮過程がブラックボックスとなってしまうため，部分構造の情報を類似したグループ（心臓，大血管など）ごとに段階的に圧縮することで説明可能性を維持したまま，分散表現を獲得する手法（階層型オートエンコーダ）も考案した。この階層型グラフチャート図により，異常判定を行う際にどのグループが判定根拠に寄与したのかを，検査者により明確に提示できることが期待される（図3）。

図3 階層型グラフチャート図
正常胎児の大血管（a）心臓（b），および先天性心疾患（ファロー四徴症）の大血管（c）心臓（d）の階層型グラフチャート図。四腔断面（four-chamber view: 4CV）は青菱形点，三血管気管断面（three-vessel trachea view: 3VTV）は赤四角点で表示している。この先天性心疾患症例では，大血管においてより大きな差異が示唆された。

実際に，検査者がグラフチャート図および異常度スコアを参考にすることで，胎児心臓超音波スクリーニングの精度向上が見られるのかを検証した。今回，昭和大学病院産婦人科の専門医8名，一般産婦人科医10名，後期研修医9名の計27名の協力が得られた。検査者は，ランダムな胎児心臓超音波スクリーニング動画40動画について正常・異常判定し，また判定を下す際の確信度（検査者自身が判定に対してどの程度確信を持っているかを示す値）を5段階評価で記載した。

検査者が単独で読影した場合と，グラフチャート図および異常度スコアを併用して読影した場合とで比較したところ，受信者動作特性（ROC）曲線^[12]の曲線下面積（AUC）^[13]の算術平均において，専門医で0.966から0.975，一般医で0.829から0.890，後期研修医で0.616から0.748へと，全ての検査者レベルでスクリーニング精度の向上が見られた（図4）。

これは，実際に検査者が深層学習に基づく説明可能な表現を用いて胎児心臓超音波スクリーニング精度を向上させた世界初の報告であり，検査者の診断能力を補強する説明可能AIの可能性を示している。

図4 説明可能AIを用いた胎児心臓超音波スクリーニング精度の向上
ROC曲線を用いて，灰色はAI単独，緑色は検査者単独，赤色は検査者がAIを併用して読影した場合の，胎児心臓超音波スクリーニング性能を示す。実線はAUCの平均値，明るい半透明色の領域は標準偏差を示す。説明可能AIを用いることで，専門医・一般医・後期研修医全ての検査者レベルにおいてスクリーニング精度の向上が見られた。

^{注4）Komatsu, M. et al. Detection of cardiac structural abnormalities in fetal ultrasound videos using deep learning. Applied Sciences 11, 371 (2021).}

今後の期待

今後は，産婦人科をはじめ幅広い医学領域において，さらに多くのAIを活用した超音波画像診断支援技術が導入されると予想される。しかし，検査者や施設間，超音波診断装置の機種間における画像精度管理など，臨床応用に向けて解決すべき課題を一つずつ克服していく必要がある。

本技術は，臨床現場で医療従事者および患者がAI搭載医療機器をより信頼して利用できるように，AIの判定根拠に対する説明可能性の向上に貢献すると期待できる。共同研究グループは，これまで構築してきた基盤技術と統合することで，AIを活用した胎児心臓超音波スクリーニング診断支援技術の臨床応用の実現を目指す。

補足説明

1. 理研AIP-富士通連携センター
理研の産業界との連携センター制度に基づいて，理研AIPと富士通株式会社が2017年4月に開設した連携センター。環境の不確実な変化に対しても，的確な未来予測に基づいて人のより良い判断を支援する「想定外を想定するAI技術」の実現を研究テーマとした共同研究を進めている。
2. 胎児心臓超音波スクリーニング
先天性心疾患の早期発見のため，スクリーニング目的で胎児心臓を観察する超音波検査。原則として全ての妊婦を対象に実施する。代表的な胎児心臓の基本診断面としては，四腔断面（four-chamber view），三血管断面（three-vessel view），三血管気管断面（three-vessel trachea view）などが挙げられる。日本胎児心臓病学会・日本小児循環器学会編『胎児心エコー検査ガイドライン（第2版）』参照。
3. 深層学習（ディープラーニング）
機械学習の計算手法の一つで，多層（狭義には4層以上）のニューラルネットワークのこと。画像や動画，テキスト，音声などの分類・識別問題に用いられている。ニューラルネットワークとは，脳機能に見られるいくつかのネットワークを計算機上のシミュレーションで表現することを目指した数学モデルである。
4. ブラックボックス問題
深層学習において，ディープニューラルネットワークの構造は非常に複雑なため，その予測プロセスについて十分な説明性が得られないこと。
5. 教師あり学習，教師なし学習
機械学習において，人間が正解ラベルを与えたラベル付きデータからその特徴を学習する方法を教師あり学習と呼ぶ。一方，教師なし学習では正解ラベルを与えずに学習し，次元圧縮によりデータの特徴を抽出する。
6. オートエンコーダ
深層学習における代表的な教師なし学習手法。エンコーダ，デコーダと呼ばれるニューラルネットワークからなり，入力データをエンコーダにより特徴量へ変換し，特徴量をデコーダにより入力データへと再構成（復元）する。
7. 分散表現
解析対象データをある次元のベクトル空間に埋め込み，その特徴を同一空間上の実数ベクトルで表現すること。
8. カーネル
画像処理において画像の一部をスライドしながら切り出して，平均化などの処理をする関数。
9. view-proxy loss
オートエンコーダによって生成されたグラフチャート図では，分散表現に対するガイドラインがないため，その軌跡は絡み合った形状となる傾向がある。そこで，超音波検査において臨床的に重要な診断面の理想的な座標と，抽出された部位構造の検出情報の分散表現との間の距離をview-proxy lossとする。この新しい指標を最小限に抑えることで最適化し，オートエンコーダによる学習を安定させ，より鮮明なグラフチャート図の作成が可能になる。
10. 異常度スコア
正常所見からの逸脱の程度を数値化したもの。本研究では正常を0，異常を1と設定し，0から1の範囲で算出している。
11. ファロー四徴症
先天性心疾患のうち最も発症頻度が高く，所見としては(1)心室中隔欠損 (2)肺動脈狭窄 (3)大動脈騎乗 (4)右室肥大を呈する。全身動脈血酸素飽和度の低下（チアノーゼ）を主症状とする。根治的治療は手術療法であり，一般的に手術例の長期予後は良好である。
12. 受信者動作特性（ROC）曲線
ある検査において，正常と異常を判別するカットオフポイントに応じて，検査の性能を視覚的に表したもの。縦軸に真陽性率（感度），横軸に偽陽性率（1-特異度）を尺度としてプロットする。スクリーニング検査などの精度評価や従来検査との比較に用いられる。ROCはreceiver operating characteristicの略。
13. 曲線下面積（AUC）
ROC曲線を作成した際の，グラフの曲線より下の部分の面積のこと。0から1までの数値をとり，1に近いほど判別性能が高いことを示す。AUCはarea under the curveの略。

共同研究グループ

理化学研究所 革新知能統合研究センター
目的指向基盤技術研究グループ がん探索医療研究チーム
副チームリーダー 小松 正明（こまつ まさあき）
チームリーダー 浜本 隆二（はまもと りゅうじ）
（国立がん研究センター研究所 医療AI研究開発分野 分野長）
客員研究員 金子 修三（かねこ しゅうぞう）
（国立がん研究センター研究所 医療AI研究開発分野 ユニット長）
研究員 浅田 健（あさだ けん）
特別研究員 町野 英徳（まちの ひでのり）
理研AIP-富士通連携センター
客員研究員 酒井 彬（さかい あきら）
（富士通株式会社 研究本部 人工知能研究所 研究員）
客員研究員 安富 優（やすとみ すぐる）
（富士通株式会社 研究本部 人工知能研究所 研究員）

昭和大学 医学部 産婦人科学講座
教授 関沢 明彦（せきざわ あきひこ）
准教授 松岡 隆（まつおか りゅう）
助教 小松 玲奈（こまつ れいな）
講師 新垣 達也（あらかき たつや）

研究支援

本研究は，文部科学省「次世代人工知能技術等研究開発拠点形成事業費補助金」による支援を受けて行われた。

原論文情報

Akira Sakai, Masaaki Komatsu, Reina Komatsu, Ryu Matsuoka, Suguru Yasutomi, Ai Dozen, Kanto Shozu, Tatsuya Arakaki, Hidenori Machino, Ken Asada, Syuzo Kaneko, Akihiko Sekizawa, Ryuji Hamamoto, "Medical professional enhancement using explainable artificial intelligence in fetal cardiac ultrasound screening", Biomedicines, 10.3390/biomedicines10030551

発表者

理化学研究所
革新知能統合研究センター 目的指向基盤技術研究グループ がん探索医療研究チーム
副チームリーダー 小松 正明（こまつ まさあき）
チームリーダー 浜本 隆二（はまもと りゅうじ）
（国立がん研究センター研究所 医療AI研究開発分野 分野長）
理研AIP-富士通連携センター
客員研究員 酒井 彬（さかい あきら）
（富士通株式会社 研究本部 人工知能研究所 研究員）

昭和大学 医学部 産婦人科学講座
准教授 松岡 隆（まつおか りゅう）
助教 小松 玲奈（こまつ れいな）