画像を解析するためには、そもそも画像を撮影しなければなりませんが、撮影には「ハイパースペクトルカメラ」という特殊カメラが使われました。
通常のカメラ(RGBカメラ)よりも、多くの情報を取得できることから、医療分野での研究開発から、産業分野まで幅広い用途で活用されています。
03-3258-1238
お問い合わせ2022.12.20 | アルツハイマー病の早期発見, 皮膚がんの診断
近年、AI(人工知能)の各業界への導入が進んでおり、医療では、特に病理診断や放射線診断の領域で積極的な開発が行われています。
「良性と悪性の判別」など、AIが判断を下すためには、機械学習が欠かせません。
機械学習を用いることで「特定のタスク」を実行することができます。
今回は、医療分野での、機械学習による「画像解析」の研究事例を2つご紹介します。
画像を解析するためには、そもそも画像を撮影しなければなりませんが、撮影には「ハイパースペクトルカメラ」という特殊カメラが使われました。
通常のカメラ(RGBカメラ)よりも、多くの情報を取得できることから、医療分野での研究開発から、産業分野まで幅広い用途で活用されています。
ハイパースペクトルカメラ
当ページでは、機械学習とも相性の良い「ハイパースペクトルカメラの画像解析」についてまとめました。
前半では、基本となる「ハイパースペクトルカメラのデータ分析」についてお伝えします。
後半では、2つの研究事例(アルツハイマー病の早期発見、皮膚がんの診断)をご紹介します。
ハイパースペクトルカメラは「光を何百もの波長(スペクトル)に分光して撮影できるカメラ」です。
「分光」して撮影できる点がポイントです。
ハイパースペクトルカメラで撮影し、ソフトウェアで分析すると「ピクセル単位」で何百もの波長データを見ることができます。
画像中のグラフのように「光や信号などの波を成分に分解し、成分ごとの大小(強度)を見やすく配列したもの」を「スペクトル」と言います。
ハイパースペクトルカメラでは、光を波長ごとに分解して撮影できるため「波長ごとの強度」を示した「スペクトルデータ」を撮影できます。
【スペクトルデータのイメージ図】横軸:波長、縦軸:強度
スペクトルデータ(波長ごとの強度)を見ることで、次のようなことが可能になります。
これらを実現するためには「物質の特定」が必要ですが、なぜ光の波長情報(スペクトルデータ)から「物質の特定」が可能なのでしょうか?
それは「物質ごとに吸収・反射する波長」が、異なるからです。
例えば、レモンは黄色、リンゴは赤色に見えますが、これは、レモンが「黄色い波長の光(550-590 nm)」を、また、リンゴが「赤い波長の光(640-770 nm)」を反射しているからです。
このように、反射光・吸収光は、物質によって違います。
それぞれの物質によって吸収・反射する光の波長が異なるだけでなく、それは物質ごとに「一定のパターン」を示します。このような「物質に特有の吸収・反射のスペクトルパターン」を、スペクトルシグネチャ(Spectral signature)と言います。
こちらは、皮膚がんの診断研究(後述の「研究事例」で紹介)で用いられた「正常な肌」と「色素性皮膚病変(良性・悪性)」のスペクトルデータです。
同じ色素性皮膚病変でも「良性」と「悪性」では、グラフの傾きの微妙な違いが見て取れます。
そして「正常な皮膚」の場合は「色素性皮膚病変」に診断されたスペクトルデータとは明らかに異なるパターンを示しています。
このようにスペクトルデータから「波長ごとの強度」が読み取れるため、物質に特有の分光パターン(スペクトルシグネチャ)を判別できます。
スペクトルシグネチャによって、悪性腫瘍の識別や、「細胞核」と「その他細胞を構成する物質」を区別できる(細胞核のカウントが可能)ことから、ハイパースペクトルカメラは様々な用途に応用されています。
ハイパースペクトルカメラのデータ(スペクトルデータ)は、機械学習で解析できます。
機械学習は様々な分野で活用されていますが、「スペクトル解析」でも新たな解析手法の一つとして、注目されています。
機械学習を用いたスペクトル解析には、大まかに「分類」と「回帰」の2つがあります。
実際の解析では、まず、モデルを作成します。
モデルとして、データセット(※1)を入力します。このデータセットによって「撮影データと各ピクセルが何に分類されるのが正解か」を機械に覚えさせることができます。
(※1)データセット:データの集合。この場合は「機械に覚えさせるための正解データ」の集合を指す。
モデルの作成によって、対象を分類したり、定量値を求める、といった「結果」が得られます。
次に、モデルでの分類や回帰の結果の「精度」を改善します(モデル改善)。
「期待通りの結果が得られない箇所」の原因を確認し、データの追加等を行って精度を高めていきます。
ここからは、具体的な研究事例をご紹介します。
ハイパースペクトルカメラで「網膜に蓄積されたタンパク質(アミロイドβ)(※2)」を検出した研究です。
当研究では、ハイパースペクトルカメラで「目(網膜)」を撮影しました。
アルツハイマー病の診断には、2つのタンパク質(アミロイドβ、タウ)が不可欠です。
これらのタンパク質は、健康な脳にも存在しますが、生産・排出プロセスのバランスが崩れると、これらのタンパク質が蓄積されていきます。(アミロイドβは脳細胞を死滅させるという仮説があります。)
網膜は機能性、障害への反応、免疫学の観点から、脳や脊髄と類似しています。したがって、目は従来の「高価かつ侵襲的な検査」を必要とせずに、中枢神経系にアクセスできる窓口になり得ます。
さらに近年では、アルツハイマー病患者における「網膜の変化」に注目した研究が行われており、神経網膜の菲薄化と神経節細胞の変性、電気的反応の異常、網膜灌流の低下、微小血管の変化、さらにアミロイドβ40/アミロイドβ42ペプチドとpTauの網膜レベルの上昇を指摘するデータが増えています。[参考:1,2,3,4]
当研究では、アルツハイマー病患者と、他のグループを区別する「分類モデル」を構築しました。
こちらが撮影環境です。
従来の「網膜撮影カメラ」に、imec社のハイパースペクトルカメラを搭載しました。
被験者の撮影データは、ソフトウェアで分析されます。
分析には、ハイパースペクトルイメージング(スペクトルデータの分析技術)に加え、光コヒーレンス・トモグラフィー(OCT)という2つの方法(技術)が用いられました。
光干渉断層撮影(OCT:Optical Coherence Tomography)は「光の干渉効果を利用して対象物の断面図を高分解能・高速で撮影する技術」です。光を照射して分析するため、非接触・非侵襲で撮像できます。
分析は次のようなプロセスで行われました。
こちらのプロセスは、大きく3つに分けられます。
研究では、アルツハイマー病の患者17人と、対照群22人のデータを分析しました。
神経変性の兆候である「網膜神経線維層の菲薄化」を定量化して評価するために、OCTを用いて、網膜神経線維層(RNFL:Retinal nerve fiber layer)の厚さの解析が行われました。
さらに、ハイパースペクトルイメージングによって「アミロイドβとの関連が推定される網膜のスペクトルシフト」を検出することで、網膜におけるアミロイドβの蓄積を定量化します。
まずはデータの前処理を行い、次に対象領域(ROI:Region of interest)を定義しました。
緑色の箇所は、毛細血管を除去した対象領域(ROI)です。
スペクトルデータを用いることで「分析に関係のない領域(血管等)」と「ROI」をピクセルレベルで区別できます。
4つの対象領域の位置関係(上:S1,S2、下:I1,I2)
緑の箇所、ROIデータ(上:S1,S2領域、下:I1,I2領域)は、機械学習によるトレーニング・評価に使用されます。
こちらは、機械学習によって「疾患なし」を0、「疾患あり」を1と判定させた際の、判定の出力値(アルツハイマー病の確率)の分布です。
実際のデータは、疾患の有無によって、0(疾患なし)と1(疾患あり)で、すっぱりと割り切れるものではなく、0.4等の半端な数値が出力されることが多いです。
今回の研究では、17人の「アルツハイマー病患者」のうち9人はスコアが1に近く、22人の「対照群」のうち15人はADである確率が0に近いといった結果になりました。
こちらは、ROC曲線(※4)のデータです。
(※4)ROC曲線は、閾値(疾患あり・なしの区別を0〜1のどこに設定するか)を変更した際の、真陽性率 (TPR)と偽陽性率 (FPR)の値の分布を表しています。
ROC曲線(LOOCVループの予測に対して生成)
ROC曲線の分類を評価する際には、AUC(Area Under the Curve)が用いられます。AUCは「グラフの曲線より下の部分の面積」を指します。
AUCが「1」に近い(ROC曲線が左上に寄っている)ほど、良い判定と言えます。
当研究では「AUC=0.74」という、希望が持てる結果でした。
こちらの分類モデルは、ハイパースペクトルカメラとOCTの測定値を用いて、75~80%の確度で判定できます。ある程度の確度でアルツハイマー病患者と、他のグループを区別できることがわかります。
分類モデルは、国際的に有名な「Alzheimer’s Research and Therapy Journal」に掲載されました。
さらに研究は進められており、実用化が期待されています。
というのも、このシステムは「安全性」と「利便性」が高いためです。
撮影には、スナップショットカメラが用いられました。
このカメラは走査を必要とせず、撮影が数秒で済むため、患者への負担が最小限で済みます。
さらに撮影では「可視光線」のみが使われるため、紫外線等、人体に有害な光を浴びる危険もありません。
また、ハイパースペクトルイメージングとOCTを組み合わせた手法なら、アルツハイマー病を比較的安価に、非侵襲的に診断できます。加えて、効果的な治療ができる可能性が高い初期段階において、診断できる可能性があります。(※4)
(※4)現状のアルツハイマー病の診断は、アミロイドPETや脳脊髄液(CSF)バイオマーカー分析などの高価で侵襲的な手法で行われており、診断がつくのは、患者がすでに記憶障害を起こしている(末期状態)場合が多いです。
こうした安全性と利便性に加え、このシステムは更なる大掛かりな開発を必要としないため、ベルギーのMONA社など、世界のいくつかの企業が、すでにこの技術の商業化に踏み出しています。
ここからは、ハイパースペクトルカメラのデータ分析によって、色素性皮膚病変(PSL:pigmented skin lesions)を「良性PSL」と「悪性PSL」に分類した研究をご紹介します。
研究の結果、悪性PSLと良性PSLの識別において、感度87.5%という正確度で分類できました。
研究では、Cubart社のハイパースペクトルカメラ(Cubert UHD185)が用いられました。
同機器は、450〜950nmの可視から近赤外までのスペクトルデータが取得可能で、8nmの分光分解能(125スペクトルバンド)と50×50ピクセル(240×240μmのピクセルサイズ)の空間分解能を有します。
ハイパースペクトルカメラでの撮影の様子
機材及びシステム構成は次の通りです。
ハイパースペクトル画像のPSLの分類には、大きく分けて、3段階の処理が必要です。
当研究では、これらを臨床支援のための「ハイパースペクトル皮膚科学フレームワーク」として提案しています。
第1段階では、まずデータの前処理を行います。
第2段階では、前処理を施したハイパースペクトル画像を、教師なしアルゴリズムを用いて「正常な皮膚」と「PSL」に画素レベルで(ピクセルごとに)識別します。
第3段階では、分類アルゴリズムを使って、PSLデータを「良性」と「悪性」に分類します。
つまりPSLが良性か悪性かを判断するためには「正常な皮膚とPSLに分類する」→「PSLを良性・悪性に分類する」といった2段階の処理が必要です。
さて、ここから詳細の解説に入ります。
まず撮影データをデータセットに分類し、分析できるように前処理を行います。
データセットは、トレーニングセット、検証セット、テストセットに分類します。(以下では、テストセットのデータ:を示します。)
次に、ハイパースペクトル画像中のピクセルを「正常な皮膚」と「PSL」に識別します。
「PSLを正確に良性・悪性に分類すること」が最終的な目的ですが、そもそも画像中の「正常な皮膚」と「PSL」を識別できなければ、良性・悪性に分類できないため、分類する処理(セグメンテーション)が必要になります。
セグメンテーションとは「画像をオブジェクトに分割するタスク」を指します。
正常な皮膚とPSLのセグメンテーションイメージ図
ここでは「正常な皮膚」と「PSL」を1ピクセルごとに、ラベル付けを行い、分割します。
いくつかの処理(※3)を経ることで「正常な皮膚」と「PSL」をピクセルレベルで分類できました。
ただし10枚のうち2枚は、PSLを分類できませんでした。
(※3)ハイパースペクトル画像データは、K-meansクラスタリングアルゴリズム(k=7)とSAM(Spectral Angle Mapper)アルゴリズムを元にした「ピクセル単位」の手法で分析され、モルフォロジー処理が施されました。
セグメンテーションが終わると、次は、いよいよ「良性と悪性の分類」です。
前の工程で「PSLピクセル」に分類されたデータを、分類アルゴリズム(教師あり)を使って、良性と悪性に分類します。
その結果、ハイパースペクトル画像(P14_C1、P23_C1、P69_C1、P74_C1、P97_C1、P107_C1)は、PSLの識別において「平均85%」の高精度で分類できました。
しかし、PSLを識別できないデータ(P28_C1、P100_C1)や、分類の精度が低いデータ(P13_C1、P102_C1)もありました。
ここから次のような課題が見えてきます。
このように、いくつか課題はありますが、高い精度で分類できた点は有望です。
さらに、悪性病変の識別に40%のリスク閾値を用いたところ、セグメンテーションが可能だったハイパースペクトル画像8枚のうち7枚(87.5%)がPSLの病理診断に従って正確に分類されました。
ポイントは、この研究結果が「トレーニングセット、検証セット、テストセットにデータを分けるという厳密な検証方法によって得られた」という点です。
「テストセットは処理モデルの生成に関与していない患者からのデータ」で構成されています。
このため、オーバーフィッティングを発生させることのない、信頼できる結果と言えます。
「ハイパースペクトルカメラの強み」は、撮影したスペクトルデータから「スペクトルシグネチャ」を読み取れることです。
スペクトルシグネチャによって「正常部位と異常部位」を識別したり、異常部位を「良性と悪性」に識別する、といった「識別」が可能になります。
加えて、スペクトルデータ(波長ごとの強度)1ピクセルごとに取得されています。
このため、画像中のから特定の部位のみを除外したり、抽出するといった作業も可能です。
正常な皮膚とPSLのセグメンテーションイメージ図
スペクトルデータを見ることで、通常のカメラ(RGBカメラ)ではできない、精密な分析ができます。
もちろん、皮膚がんに限らない、他の悪性腫瘍の識別も可能です。
さらに研究事例でもご紹介した通り、スペクトルデータと「機械学習」を組み合わせることで、良性・悪性を分類し判断を下す、といった、より実用的な使い方が可能になります。
例えば、ハイパースペクトルカメラは、肉眼では見えない情報をリアルタイムで提供できるため、外科手術をサポートする用途での活用もできます。
こちらが「誘導手術中の人間の脳のハイパースペクトル画像」です。
Carl ZEISS手術用顕微鏡にハイパースペクトルカメラを取り付けて取得された
医療用ハイパースペクトル画像は、スクリーン上に表示したり、スマートグラス(拡張現実グラス)を使って、医師の視点に、ハイパースペクトル情報をオーバーレイとして追加することもできます。
これにより、医師は病気の組織を除去する際に、どの組織を保存すべきかを特定できます。
現在、ハイパースペクトルカメラを用いた研究開発が進められています。
将来的には、診断を補助するツールとしてハイパースペクトルイメージングを活用した装置・システムが市場に登場するかもしれません。
ここでは「機械学習を学びたい」、「ハイパースペクトルカメラをもっと知りたい」という方に向けて、機械学習とハイパースペクトルカメラにまつわる、関連情報へのリンクをご紹介します。
機械学習を使ったスペクトル解析(ハイパースペクトルカメラのデータ分析)について基本から解説したコンテンツです。
ソフトウェアでの分析の様子を解説したコンテンツです。
「1ピクセルごと」に、何百ものスペクトルデータを見れる、ハイパースペクトルカメラのデータ分析の様子を視覚的にご確認いただけます。
【動画あり】ハイパースペクトルカメラPika実演!データ分析
ハイパースペクトルカメラのデータや、撮影方式について、基本から解説したコンテンツです。
さらに、KLV大学「ハイパースペクトルカメラコース」には、基礎から用途例、研究例まで、多数の情報がまとまっていますのでご参考ください。
上述の研究事例と関連する製品をご紹介します。
「アルツハイマー病の早期発見」の研究事例で実際に使用された製品です。手のひらに乗る超小型サイズのため、顕微鏡やスマートグラスに搭載するなど、幅広く活用できます。
製品詳細「皮膚がんの診断」事例で使われたハイパースペクトルカメラと同じメーカーの製品です。動画を撮影できるため、リアルタイムでの補助ツールなど、活用の用途が広がります。皮膚分析・肌診断の撮影事例もあります。
製品詳細他にも、多数のハイパースペクトルカメラを取り扱っております。
弊社(ケイエルブイ株式会社)はハイパースペクトルカメラの導入実績が豊富にございます。
豊富な経験をもとに、お客様の用途に合わせた、最適な一台をご紹介いたします。
また弊社はハイパースペクトルカメラの専門家として「データ分析」でもお客様をサポートできます。
ソフトウェアの基本的な使い方を始め、機械学習を使ったスペクトルデータ分析にも知見がございます。
お気軽にご相談ください。
お問い合わせ機械学習/ディープラーニングを活用したスペクトル解析
「プラスチックの選別」に革新!
近赤外分光がプラスチックのリサイクルに貢献
ハイパースペクトルカメラ導入の費用対効果は?
【第1回】光学機器商社がレタスで実験してみた!
種まき編