今回は、ハイパースペクトルカメラの防衛・セキュリティー分野での活用について、ご紹介します。
ハイパースペクトルカメラは、光を分光して撮影できる特殊カメラです。
03-3258-1238
お問い合わせ2022.12.20 | 爆薬の検出, 鉱物の分類
今回は、ハイパースペクトルカメラの防衛・セキュリティー分野での活用について、ご紹介します。
ハイパースペクトルカメラは、光を分光して撮影できる特殊カメラです。
ハイパースペクトルカメラ
ハイパースペクトルカメラでの撮影で「目視では確認できない様々な情報」が得られるため、土壌調査を始め、ターゲット・地雷の検出など「遠隔地の情報を獲得する用途」で研究が進められています。
当ページでは、ハイパースペクトルカメラの防衛・セキュリティー分野のハイパースペクトルカメラの活用について、前半では「ハイパースペクトルカメラにできること」と「分析の仕組み」をお伝えします。
後半では、ハイパースペクトルカメラの撮影事例として「爆薬の検出」と「鉱物の分類」の2つをご紹介します。
ハイパースペクトルカメラは、通常のカメラ(RGBカメラ)と同様に「光」情報を取得しますが、RGBカメラとは比べ物にならないほど「情報量が多い」という強みがあります。
では、取得した「光情報」を使って、何ができるのでしょうか?
例えば、防衛・セキュリティー分野では、次のような用途で活用されています。
これらは大きく「分類」と「回帰」の2つタスクに分けられます。
つまりハイパースペクトルカメラを使うことで「違うものを識別(分類)」したり、「定量値を求める(回帰)」ことができます。
「違うものを識別する」とは、例えば、物質Aと物質B、陸地と河川など、別々のものを画像上で見分けたい(分類したい)という場合に役に立ちます。
こちらは「外来種の雑草」を判別した事例です。
「ハイパースペクトルカメラを搭載した航空撮影システム」で、上空から対象区域を撮影しました。
ハイパースペクトルカメラで「外来種の雑草」を判別
通常のRGBカメラで撮影した画像(RGB画像)では、外来種の雑草の見分けがつきません。
しかし、ハイパースペクトルカメラで撮影し、ソフトウェアで処理を施すと、外来種の雑草を視覚的に確認できることがわかります。
また「物質ごと」の分類も可能です。
例えば、こちらは「6種類の金属」を分類した事例です。
色味が似ているものが多いですが、ハイパースペクトルカメラで撮影することで、しっかりと区別(異なる金属を「色分け」)できていることがわかります。
ハイパースペクトルカメラで6種類の金属を分類
このように、ハイパースペクトルカメラで対象を撮影すると、特定の植物を抽出したり、金属を区別するというように、異なる対象を分類できます。
ハイパースペクトルカメラで撮影することで、特定の成分の含有量など「定量値」を求めることができます。
他分野の活用事例を挙げますと、
といった用途で使われています。
画像は、クロロフィルの含有量別に色分けしたものです。
クロロフィルの含有量別に色分け(赤色がクロロフィルが多い葉の部分を指します)
ハイパースペクトルカメラを使うことで「特定の成分の量を推定する」というような定量的な分析が可能です。
ハイパースペクトルカメラで撮影することで「違うものを識別(分類)」したり、「定量値を求める(回帰)」ことができます。
これらは、リモートセンシングでも可能です。
ハイパースペクトルカメラは航空機やドローン、衛星に搭載できます。
このため、上空から、広範囲の情報を取得できます。
UAVハイパースペクトルカメラ
こちらは、ハイパースペクトルカメラで上空から撮影し「樹冠の高さ」によって色分けした事例です。
樹冠の高さ(m)が高いほど「濃い緑色」として表現されています。
樹木の高さだけではなく、土地被覆のタイプの分類(草、木、水、影など異なる要素を区別できる)などハイパースペクトルカメラの撮影で「土地の特徴」を遠隔で観察できます。
このようにハイパースペクトルカメラは植物から金属まで、様々な対象を、遠隔で撮影・分析できるという強みがあります。
ケイエルブイは、それぞれ特徴のある5種類のドローン搭載用スペクトルカメラを取り扱っています。
など
デモ機のご用意もありますのでお問い合わせください。
ハイパースペクトルカメラの撮影によって、数百の波長情報を取得できます。それらを分析することで、分類や回帰といったタスクを実行できます。
なぜ「光の分析」によって、物質を分類したり、特定の成分の定量値を求めたりすること可能なのでしょうか?
ここからは「データ分析の仕組み」を見ていきましょう。
まずはハイパースペクトルカメラの大まかな撮影プロセスを見ていきましょう。
ハイパースペクトルカメラを屋外で使用する際は、三脚などを使って固定します。
さらに広範囲を撮影したい場合は、航空機やドローンにハイパースペクトルカメラを搭載することで、上空から対象の区域を撮影します。
屋外での撮影イメージ(左:三脚を使って固定、右:ドローンに搭載)
撮影で、ハイパースペクトルカメラは対象の「反射光」を記録します。
撮影された膨大な光情報は、専用のソフトウェアで分析します。
ソフトウェアを使うことで、何百もの波長データを見ることができます。
グラフでは、波長(横軸)ごとの強度(縦軸)を見ることができます。
十字の中心(1ピクセル)の波長データが右のグラフに表示されている
画像中のグラフのように「光などの波を成分に分解して成分ごとの大小(強度)を見やすく配列したデータ」を「スペクトルデータ」と言います。
ハイパースペクトルカメラの撮影では、スペクトルデータを「ピクセル単位」で見ることができます。つまりスペクトルデータを1ピクセルごとに分析できます。
ハイパースペクトルカメラの分析では「スペクトルデータ」を見ることで、様々な情報を獲得します。
スペクトルデータは光を「分光」して撮影したデータです。
このため、ハイパースペクトルカメラで撮影することで「分光分析」が可能になります。
「分光分析」とは、物質が放射または吸収する「光」を波長に分割し、物質を構成する分子固有の波長(スペクトル)を見つけることで、物質の成分や特性を定量的・定性的に分析する方法です。
ポイントは「物質を構成する分子固有の波長(スペクトル)を見つける」ことです。
再び「6種類の金属」を分類した事例を見てみましょう。
右が各金属のスペクトルデータです。
銅、鉄、アルミ、亜鉛、ニッケル、鉛で、グラフの傾きが異なっています。
これは、それぞれの物質によって「反射光」や「その強度」が異なっているためです。
物質ごとに「どの波長を反射・吸収するか」は違います。
より詳細に言うと、物質によって「物質を構成する分子固有の波長(スペクトル)」があります。
つまり「物質を構成する分子固有の波長」がわかると「波長」データから「物質」を割り出せます。
ハイパースペクトルカメラでは分子固有のスペクトルを見つけることで、各物質を区別したり、成分量を割り出せます。
分光分析によって、金属の他、ガラスやプラスチックを分類したり、土壌の含水量を調査できます。
ここからは、防衛・セキュリティー分野での利用と関連する、具体的な撮影事例をご紹介します。
軍用射撃場で「残置爆薬」を検出した事例です。
高分解能のハイパースペクトルカメラを使って、射撃場の土や草に紛れた、数種類の「爆薬の粒子」を検出します。
火薬は「粉末の純粋なもの」と「複数の成分を含む混合物」を使用しました。
サンプルは、黒いプラスチックのカップに入れて、土の上に並べました。
こちらの事例では、ハイパースペクトルカメラで射撃場を撮影することで「土の上に残っている爆薬を検出できるか」を試しました。
車載のハイパースペクトルカメラで地面を撮影
軍事射撃場における爆薬の汚染状況を効率的に把握する用途での利用を想定して実験を行いました。
やり方としては、例えば画像のように「車両に搭載したハイパースペクトルカメラ」で土壌を撮影します。
これを実現するためには「数種類の爆薬」と「土壌」を分離できるかどうかが、ポイントになります。
つまり「各爆薬のスペクトルデータ」と「土壌のスペクトルデータ」が異なっていれば、土や草の上に散らばっている爆薬のみを検出できます。
そこで研究室で類似した環境を再現し、ハイパースペクトルカメラHySpex Classic SWIR 320m-eで、各爆薬のスペクトルデータと土壌のスペクトルデータを撮影しました。
研究室の撮影環境
また爆薬のサンプルのスペクトルデータを撮影しました。
その結果、ほとんどのサンプルのデータは「SWIR領域(※1)に特徴的なスペクトル」を持っていました。
(※1)SWIR:短波赤外。1000nm〜2500nmの波長域を指す。
爆薬のスペクトルデータ
つまり、スペクトルデータに見られる「SWIR領域の特徴」によって爆薬と背景(土壌)と区別できるということです。これによって一部の例外(※2)を除き、「土の上に撒かれた爆薬を検出できる」ことがわかりました。
(※2)例外:現場で発見された未知のサンプルの1つ(未知の爆薬1)が、非常に限られたスペクトル構造を持っていたため、この爆薬は背景と分離できませんでした。
次に、専用のソフトウェアを使って、撮影したハイパースペクトル画像中の「爆薬」と「背景」を分離しました。
ハイパースペクトル画像は、「アノマリーディテクション(異常検出)」という統計解析法を用いて処理しました。
アノマリーディテクションは、背景として定義された対象(今回の場合は土壌)のスペクトル特性から逸脱しているスペクトルの特徴を探す手法です。
対象となる画像に、アノマリーディテクションを適応すると、ピクセルごとに「背景の一部である確率」を示すグレースケール画像が得られます。
アノマリーディテクション(異常検出)で得られた画像
こちらがアノマリーディテクションで処理して「背景」と「それ以外」を分離した画像です。
背景(土壌)である確率が高いほど「黒」で示されます。
反対に、白に近いほど「背景(土壌以外)である確率が低い」ことを表しています。
グレースケール画像で見ると、様々な種類の爆薬が背景(この場合は土壌)から、うまく分離されています。
アノマリーディテクションで「背景」と「それ以外」を分離できました。しかし現状では、背景である「黒」と、爆薬である「白」の他、「背景である確率の低さ」に応じて「灰色」が混じっています。
つまり「背景」と「背景である確率の低いもの」に分類されており、「背景である確率の低いもの」にはやや曖昧さがあります。
ここから「背景」と「爆薬」の2つに明確に分類するために、こちらの画像に「セグメンテーション」という処理を施します。
セグメンテーションとは「画像をオブジェクトに分割するタスク」です。
分類には、閾値を設定します。
セグメンテーションで得られた画像
今回は、閾値以下のピクセル(画素)は黒、閾値以上の画素は白に分類しました。
こちらの例では、「未知の爆薬1」だけが例外で、異なる種類の爆薬が背景から明確に分離されています。
アノマリーディテクション(異常検知)を応用すれば、爆発物以外の異物も検知することができます。
また「爆発物とその他の物との区別」や「爆発物同士の区別」を行う場合は、他のデータ処理技術を適用することで実現できます。またこのような「検出」と「分類」は、リアルタイムでの実施も可能です。
こちらの「背景」と「爆薬」の分離は、ピクセルレベルで行われています。
つまり1ピクセルごとのスペクトルデータを見て、それが背景か爆薬かを判定しています。
ハイパースペクトルカメラでは、ピクセルごとに数百ものスペクトルデータを撮影できるため、厳密な分析が可能です。
このため、画像のように「草原に紛れ込んだ小さなターゲット」も、漏れなく検出できます。
草原に紛れ込んだターゲットを検出
例えば、リモートセンシングで上空から特定の区域を撮影して「小型航空機の位置を割り出す」といった使い方も可能です。
例えば「航空機の着地に十分な環境か」など、遠隔で環境情報を取得する必要があるかもしれません。
ハイパースペクトルカメラなら、土壌や河川の分析も可能なため、遠隔地の様々な情報を獲得する用途でもお使いいただけます。
ここでは「遠隔での環境情報の取得」の例として「鉱物の分類」を行なった事例をご紹介します。
まずはこちらをご覧ください。
画像は、Apliki鉱山(※3)の岩肌を「鉱物の特性」によって色分けしたものです。
(※3)Apliki鉱山:キプロス共和国ニコシア地区の銅-金-黄鉄鉱山
こちらの画像ではアルゴリズムによって、各鉱物を特性ごとに分類(クラスター化)してマッピングしました。
各クラスターの分類を見ることで、それぞれの鉱物を特性ごとに分類できるとわかります。
なぜ、ハイパースペクトルカメラで撮影するだけで、鉱物を分類できるのでしょうか?
ポイントは「各鉱物によってスペクトルパターンが異なる」ということです。
こちらの研究では、まず現場で「36種類の鉱物のサンプル」を採取しました。
これらの「鉱物の特性」ごとに「スペクトルデータ」を割り出すと、次のようなデータになりました。
スペクトルデータを見ると「鉱物の特性」ごとに「波長ごとの強度(グラフの傾き)」が異なっているとわかります。つまり鉱物の特性によって「スペクトルパターン」に特徴が出ます。
つまり「スペクトルパターン」と「鉱物の特性」がリンクしている、ということです。
このため「スペクトルパターン」を見ると「鉱物の特性」がわかります。
まず、ハイパースペクトルカメラで、岩肌を撮影してスペクトルデータ化しました。
撮影によって得られた「岩肌のスペクトルデータ」を「鉱物の特性ごとのスペクトルパターン」を参考にクラスター別に分類することで、画像を「鉱物の特性」ごとに色分けできます。
事前に「スペクトルパターン」がわかっているからこそ、ハイパースペクトルカメラで撮影して、スペクトルのパターンを見ることで、ある区域を構成する鉱物の特性を「予測」したり「分類」できます。
このようにスペクトルパターンごとに画像を分類することを「ハイパースペクトルマッピング」と言います。
ハイパースペクトルマッピングは、SfM(※4)や精密なLiDARモデリングによって作成された3Dモデル上に可視化できます。
(※4)SfM:Structure-from-Motion
SfMで作成した3Dモデル上にハイパースペクトルマッピングを行った
弊社(ケイエルブイ株式会社)は、これまで培った知見を活かし、各種WebコンテンツやWebセミナーで、ハイパースペクトルカメラにまつわる様々な情報発信を行っております。
KLV大学「ハイパースペクトルカメラコース」には、基礎から用途例、研究例まで、多数の情報がまとまっていますのでご参考ください。
また、ハイパースペクトルカメラの「データ分析」について解説したコンテンツもございます。
ソフトウェアの画面や、分析の概要を知りたい方におすすめです。
【動画あり】ハイパースペクトルカメラPika実演!データ分析
UAV(ドローン)にハイパースペクトルカメラを搭載して、撮影したデモンストレーション動画(解説付き)もございます。
「機材一覧」や「カメラの取り付け手順」など、他では見られない詳細な情報をご覧いただけます。
「爆薬の検出」や「鉱物の分類」の事例で用いられたハイパースペクトルカメラ(シリーズ製品)をご紹介します。
他にも、多数のハイパースペクトルカメラを取り扱っております。
弊社(ケイエルブイ株式会社)はハイパースペクトルカメラの導入実績が豊富にございます。
豊富な経験をもとに、お客様の用途に合わせた、最適な一台をご紹介いたします。
また弊社はハイパースペクトルカメラの専門家として「データ分析」でもお客様をサポートできます。
ソフトウェアの基本的な使い方を始め、機械学習を使ったスペクトルデータ分析にも知見がございます。(関連コンテンツ:機械学習/ディープラーニングを活用したスペクトル解析)
お気軽にご相談ください。
お問い合わせ機械学習/ディープラーニングを活用したスペクトル解析
「プラスチックの選別」に革新!
近赤外分光がプラスチックのリサイクルに貢献
ハイパースペクトルカメラ導入の費用対効果は?
【第1回】光学機器商社がレタスで実験してみた!
種まき編