ハイパースペクトルカメラは、光を分光して撮影できる特殊カメラです。
通常のカメラ(RGBカメラ)よりも、多くの情報を取得できることから、幅広い用途で活用されています。
03-3258-1238
お問い合わせ2022.12.28 | ブルーベリーの腐敗部位の検出, 白身魚の線虫の検出, カカオ豆の品質管理
今回は、ハイパースペクトルカメラの「食品分野の活用(成分の定量化・異物の判別)」について、撮影事例を交えながらお話しします。
ハイパースペクトルカメラは、光を分光して撮影できる特殊カメラです。
通常のカメラ(RGBカメラ)よりも、多くの情報を取得できることから、幅広い用途で活用されています。
ハイパースペクトルカメラ
ハイパースペクトルカメラによって、果物の糖度など食品の成分を割り出したり、異物を発見できることから「成分の定量化」や「検査の自動化」が実現できる可能性があります。
実際に弊社(ケイエルブイ株式会社)にも、定量化・自動化といった観点でご相談をいただいています。
そこで、当ページでは「ハイパースペクトルカメラによる食品の分析」を解説します。
記事前半では「ハイパースペクトルカメラにできること」や「食品分析の仕組み」をお伝えします。
後半では、3つの撮影事例(ブルーベリーの腐敗部位の検出、白身魚の線虫の検出、カカオ豆の品質管理)について、実際の撮影データを見ながら、具体的に解説します。
ハイパースペクトルカメラを使うことで、次のようなことが可能になります。
このようにハイパースペクトルカメラは「成分」や「異物」のように、肉眼では識別できないものを、見分けられます。
ハイパースペクトルカメラを使うことで、果物の糖度を予測できます。
こちらは「ハイパースペクトルカメラを用いたりんごの非破壊糖度推定」の研究にて紹介されていた「リンゴの糖度マップ」です。
尾花紫織他「ハイパースペクトルカメラを用いたりんごの非破壊糖度推定」を参考に作成(最終閲覧日:2022年12月28日)
赤いほど糖度が高く、青いほど糖度が低いことを示しています。
果物の糖度を高精度で予測したい場合は分光器(※1)が有効ですが、ハイパースペクトルカメラでもある程度の精度で予測できます。
(※1)分光器:光の電磁波スペクトルを測定する光学機器
さらにハイパースペクトルカメラなら、糖度など「特定の成分の分布」をマッピングして「視覚的に分布を確認できる」という強みがあります。
こちらは、ハイパースペクトルカメラで「殻」と「クルミ」を判別した事例です。
殻とクルミを判別
擬似カラー画像(ハイパースペクトルカメラで撮影してソフトウェアで処理した画像)では、殻はオレンジ色、クルミは緑色に色分けされ、明確に区別されています。
ハイパースペクトルカメラの撮影によって、異物を見分けられます。
このため、実際に「アーモンド工場」に導入されました。ハイパースペクトルカメラが、ライン上で「アーモンドの実」に混じった「異物(皮、殻)」を見分けています。
この工場では、従来は、目視でアーモンドの実と異物を選別していました。
しかし、ハイパースペクトルカメラを導入によって、選別工程の自動化に成功し、省人化も実現しました。
このように、ハイパースペクトルカメラで「人手を要する工程」を自動化できる可能性があります。
ハイパースペクトルカメラで「成分の定量化」や「異物の判別」ができる。
そのため、食品の品質の管理や、異物の検出といった用途で使わている。
さらにハイパースペクトルカメラは「タンパク質などの栄養素」を割り出したり、「新鮮な食品と劣化した食品の判別」もできます。
このため栄養の多さ・新鮮さなど、従来にはない付加価値を付けたいといった目的でハイパースペクトルカメラを使うこともできます。
ハイパースペクトルカメラで撮影することで、成分を算出できたり、異物を見分けたりすることができます。
なぜ、このようなことが可能なのでしょうか?
ここからは「ハイパースペクトルカメラの分析の仕組み」を見ていくことで「なぜハイパースペクトルカメラに成分の定量化や異物の判別が可能なのか?」を解説していきます。
ハイパースペクトルカメラは「光情報」を撮影しています。
例えば、リンゴを撮影したい場合、ハイパースペクトルカメラはリンゴから反射した光、すなわち「反射光」を撮影しています。
ハイパースペクトルカメラは反射光を撮影する
撮影された反射光は「スペクトルデータ」として記録されます。
スペクトルとは、光や信号などの波を成分に分解し、成分ごとの大小(強度)を見やすく配列したものです。このためハイパースペクトルカメラの撮影データは、横軸が波長、縦軸が強度のグラフとして記録されます。
スペクトルデータのイメージ図(反射光の強弱)
対象からの「反射光が強い」場合、私たちの目には明るく見えます。反対に「反射光が弱い」場合は暗く見えます。
ハイパースペクトルカメラも、このような「反射光の強弱」を記録しています。
こちらが、ハイパースペクトルカメラで「トマトが描かれた印刷物」を撮影した際の、ソフトウェアの画面です。
十字の中心(1ピクセル)の波長データが右のグラフに表示されている
画像中のトマトの上に、十字の中心がありますが、こちらが「1ピクセル」を指します。
この「1ピクセル」のスペクトルデータ(波長ごとの強度)が、右上にグラフとして表示されています。
ここまでで、ハイパースペクトルカメラが「波長ごとの強度」をスペクトルデータとして記録していることがわかりました。
つまり、ハイパースペクトルカメラは「波長ごとの強度」から、リンゴの糖度などを割り出したり、食品と異物を見分けたりしている、ということです。
ここからは「成分の定量化」と「異物の判別」、それぞれの仕組みについて見ていきます。
まずは「成分の定量化」の仕組みから、解説します。
ここでは、スペクトルデータから、リンゴの「糖分」を割り出す場合を考えてみます。
ハイパースペクトルカメラは「光情報」を撮影する機器ですので、定量化の際は「物質と光の関係」を利用します。
例えば、糖分(ショ糖)は「910nm付近の光」をよく吸収します。
言い換えると、糖分を多く含んだリンゴほど「910nm付近の光」を反射しなくなる(リンゴ中の糖分に「910nm付近の光」が吸収されているため)ということです。
塩分量の多・少と反射光の量
図の通り、糖分が多いほど「910nm付近の光」の反射光が少なくなります。
ハイパースペクトルカメラでは「反射光の強度」を分光して撮影できます。
このようにスペクトルデータを見ることで「910nm付近の光がどれくらい反射しているか」がわかります。
反射光が少ないほど「糖分を多く含んでいる」ため、反射光の量から糖分が多いか・少ないかを推定できます。
「糖分」は、910nm付近の光を吸収しやすいという特徴がありました。
他方で「塩分」は、糖分とは異なる波長の光を、吸収したり、反射したりします。
このように、物質ごとに吸収・反射する光は異なっています。
こちらは、3種類の粉末(砂糖、塩、小麦粉)が混じり合った状態で、それぞれ粉末を識別した事例です。
3種類の粉末(砂糖、塩、小麦粉)の識別
RGB画像では、3種類の粉末の区別はほとんどつきません。しかし擬似カラー画像では、砂糖、塩、小麦粉を区別できています。
このように、ハイパースペクトルカメラを用いることで「肉眼ではわからない違い」を可視化できます。
スペクトルデータを見ると、それぞれ、グラフの傾きが異なっており、3つの線がぴたりと重なることはありません。
これは3種類の粉末(砂糖、塩、小麦粉)の「波長ごとの強度」が異なるためです。
砂糖、塩、小麦粉のスペクトルデータ
このように物質ごとに吸収・反射する光が異なっているため、スペクトルデータを見ることで、それぞれの物質を判別できます。
異なる物質を見分けられることから、食品に混入した「異物」も検出できます。
ここからは、ハイパースペクトルカメラの撮影事例をご紹介します。
まずは「カカオ豆の品質管理」から見ていきましょう。
こちらは「ブルーベリーの腐敗部位を検出した事例」です。
ハイパースペクトルカメラによるタラの切り身の評価
RGBカメラで撮影した画像(RGB画像)では、腐敗した部位を見抜くことは困難です。
しかし、ハイパースペクトルカメラで撮影すると「腐敗した部位」は赤色、「正常な部位」は青色というように、しっかりと区別できます。
次にブルーベリーの「腐敗した部位」と「正常な部位」のスペクトルデータを見てみましょう。
「腐敗した部位」と「正常な部位」では、グラフの傾きが大きく異なっている点に注目してください。
腐敗した部位・正常な部位のスペクトルデータ
腐敗した部位は、正常な部位に比べて、800nm以降の反射光が弱いことがわかります。
このように「正常な部位」と「腐敗した部位」では成分が異なるため、ハイパースペクトルカメラで撮影することで、明確に区別できます。
なお「腐敗した部位」の検出は、ブルーベリーに限らず、リンゴやミカンなど、他の果物でもできる可能性があります。
また、腐敗した部位の検出以外にも、様々な用途での活用が可能です。
例えばハイパースペクトルカメラの分析によって、水分含有量、総可溶性固形分、アントシアニン、酸度、pH、糖度、ビタミンC等を推定できます。
こちらは「タラの切り身の線虫を検出した事例」です。
ハイパースペクトルカメラによって自動化したところ、手動検査による検出率と同等またはそれ以上の検出率で、線虫を検出できました。
タラの白身に埋め込まれている線虫
ハイパースペクトルカメラで撮影することで、タラの切り身から線虫を検出できます。
タラの切り身のハイパースペクトル画像
こちらが、タラの切り身のハイパースペクトル画像です。
画像中の「青い点線」で囲まれた中心に、うっすらと黒い影が見て取れます。
ハイパースペクトルカメラなら、これが単なるシミや影、血液の塊ではなく「線虫」であることを判断できます。
「血液の塊」と「線虫」では、それを構成する物質が異なるため、反射光にも違いが現れます。
ハイパースペクトルカメラは「波長ごとの強度」を撮影するため、双方を混同することはありません。
さらに、ソフトウェアによって、画像処理を施すことで「線虫」と「それ以外」の部分に分類できます。
画像処理で線虫を明確化
こちらの画像では「赤いピクセル」で「線虫」が示されています。
タラの切り身に対して、線虫は非常に小さいですが、ハイパースペクトルカメラは「1ピクセルごと」にスペクトルデータを取得できます。
そのため、ピクセルレベルで「線虫かそれ以外か」を判断します。
このように線虫と、それ以外(白身、骨、血液など)の物質では、波長ごとの強度が異なるため、スペクトルデータを見ることで、線虫を検出できます。
さて、この事例の最後に、撮影環境を見ていきましょう。
線虫は非常にサイズが小さいため、検出するためには「高い空間分解能と画質を備えたカメラ」が必要です。そのため、スペック上の要件を満たした「ハイパースペクトルカメラHySpex Baldur」が用いられました。
ハイパースペクトルカメラによるタラの切り身の評価
ベルトコンベア上に設置したハイパースペクトルカメラHySpex Baldurで、タラを撮影し、リアルタイムで分析します。
このシステムは、毎秒1つの切り身を評価でき、400mm/s のベルトコンベア速度にも対応できます。
こちらは「カカオ豆を品質によって分類した事例」です。
ハイパースペクトルカメラで撮影し、良質な豆、発酵が不十分な豆、スレート豆、低品質の豆の「4つ」に分類しました。
スペクトルデータと機械学習による分析によって、3種の豆(良質な豆、発酵が不十分な豆、スレート豆)については、80%に近い分類精度を達成しました。
スレート豆(Slaty beans)とは、未発酵の豆を指します。
スレート(Slaty)は和訳すると「ねずみ色」です。スレート豆をカットすると内側がねずみ色になっており、これが「豆が発酵していないこと」を示しています。
通常、カカオ豆の品質評価には「カットテスト」が用いられます。
カットテストでは、専門家がカカオ豆を半分に切って内側を露出させ、カビ、発芽、発酵の過不足などを目視で確認します。
こちらが「カットテストと目視検査で分類されたカカオ豆」です。
カットテストはカカオ豆を「破壊」する必要がありますが、ハイパースペクトルカメラを使うことで「非破壊」でカカオ豆の品質を分類できます。
こちらがハイパースペクトルカメラによる分類画像です。
「RGB画像」は、通常のカメラ(RGBカメラ)で撮影した画像で、肉眼で確認する状態に近い見え方です。
一見して、品質を区別するのは難しいとわかります。
しかし、ハイパースペクトルカメラで撮影することで(擬似カラー画像)、品質ごとにカカオ豆を分類できます。
カカオ豆の撮影は、NEO社の「ハイパースペクトルカメラHySpex Classic」が使われました。
分析は同社のソフトウェア「Breeze」で行われました。
ソフトウェア「Breeze」によって、ハイパースペクトルカメラで撮影した画像をリアルタイムで分類、定量化、識別、分析ができます。ここではBreezeの機能である「分類」を用いて、スペクトルデータを元に、カカオ豆を品質ごとに分類しました。
例えば、ハイパースペクトルカメラで、多くの「品質の良いカカオ豆」を撮影すると、「品質の良いカカオ豆」に見られるスペクトルデータのパターンが見えてきます。
ソフトウェアBreezeは機械学習によって「品質の良いカカオ豆のスペクトルパターン」を学習します。
このようにして、カカオ豆の分類モデルを構築することで、スペクトルデータに基づいてソフトウェアで分類できるようになります。
なお、この分類モデルは、発芽、過発酵、カビ、白豆などの他の欠陥も区別できます。
ハイパースペクトルカメラによる分類は「非破壊」であるという点がポイントです。
またカットテストは手間やコストがかかるため大規模な品質管理には適していませんが、ハイパースペクトルカメラなら、自動検査ラインにも実装できるため大規模な品質管理にも対応できます。
弊社(ケイエルブイ株式会社)は、これまで培った知見を活かし、各種WebコンテンツやWebセミナーで、ハイパースペクトルカメラにまつわる様々な情報発信を行っております。
こちらのコンテンツでは、食品分野の撮影事例を多数まとめております。実際にスペクトルデータを見ることで、異物を識別している様子が見て取れます。「液体」の撮影事例もございます。
また「ハイパースペクトルカメラの導入から解析手法まで一気にわかるWebセミナー」と題した、ハイパースペクトルカメラの「導入」と「解析」をわかりやすく解説したWebセミナー動画もございます。(動画に加えて、全94ページの資料もダウンロードいただけます。)
ハイパースペクトルカメラの導入から解析手法まで一気にわかるWebセミナー
ご紹介した3つの事例で、実際の撮影に用いられた製品をご紹介します。
「ブルーベリーの腐敗部位の検出」や「カカオ豆の品質管理」の事例で使われた製品です。高性能で緻密なデータが撮影できるため、研究開発用途にもおすすめです。
製品詳細「白身魚の線虫の検出」の事例で使われた製品です。
産業用に適した高速・高性能のハイパースペクトルカメラのため、ライン組み込みなど「撮影速度」が求められる用途に適しています。
他にも、多数のハイパースペクトルカメラを取り扱っております。
KLV大学「ハイパースペクトルカメラコース」には、基礎から用途例、研究例まで、多数の情報がまとまっていますのでご参考ください。
弊社(ケイエルブイ株式会社)はハイパースペクトルカメラの導入実績が豊富にございます。(実際に食品分野での製品の導入実績もございます。)
豊富な経験をもとに、お客様の用途に合わせた、最適な一台をご紹介いたします。
また弊社はハイパースペクトルカメラの専門家として「データ分析」でもお客様をサポートできます。
ソフトウェアの基本的な使い方を始め、機械学習を使ったスペクトルデータ分析にも知見がございます。
お気軽にご相談ください。
お問い合わせ機械学習/ディープラーニングを活用したスペクトル解析
「プラスチックの選別」に革新!
近赤外分光がプラスチックのリサイクルに貢献
ハイパースペクトルカメラ導入の費用対効果は?
【第1回】光学機器商社がレタスで実験してみた!
種まき編