マルチバンドフィルターを用いた普及型分光カメラの提案

用途：製造業

ホーム
解決提案
マルチバンドフィルターを用いた普及型分光カメラの提案

背景

各種食品検査の自動化の動き

食品製造業では、食品の安全性を確保するために様々な検査が必要不可欠です。例えば、製造過程で混入する異物（虫、植物の種子、木片、砂利、貝殻、陶器片など）を検出する異物検査や、食品の成分（水分、脂肪、糖分、タンパク質など）の特定やそれらの含有量を測定する成分検知などが挙げられます。これらの検査は人手や機械によって行われますが、より高精度でスピーディーに検査を実現するためにカメラを使用して自動化する動きが進んでいます。

課題

現状での選択肢

食品と異物の色や形が酷似している場合や、目視では確認できない食品に含まれる成分を検出する場合、カラーカメラでは対象物を識別・検出することは困難です。

そのような場合に利用されるのが、RGB以外の波長情報を取得して対象物（異物や食品成分）を識別・検出するシステムです。現在、以下の方法が一般的です。

1)　マルチスペクトルカメラを使う方法：

マルチスペクトルカメラとは、１台で一度に数百の異なる波長の情報を取得できるカメラのことです。しかし、膨大に得られる波長データの中から、異物の選別や食品成分の検出に適した画像を選び出すことは困難です。カメラのサイズも非常に大型となります。また、カメラの価格も一般的なカメラに比べて高価です。
2)　一般的なカメラとバンドパスフィルターを複数セット設置する方法：

これは、1)よりも安価に実現できる方法です。異物の選別や、食品成分の検出に適した波長帯をあらかじめ複数選択し、それらの波長のみを通過させるバンドパスフィルターとカメラを用意します。バンドパスフィルターとカメラは、必要な波長の数だけ用意する必要があります。マルチスペクトルカメラを導入するより安価ですが、複数のカメラを設置するためのスペースが必要です。また、複数のレンズやバンドパスフィルターなどの周辺機器も必要になるため、必要な波長数が多すぎる場合、費用が膨らみます。さらに、複数の波長を同時に組み合わせて一つの画像として使用したい場合、同じ画角でそれらを同期させて被写体を撮影するのは困難です。

このように、高度な検査を導入するにあたっては、価格やシステムの大型化、複雑さが課題となっています。

ソリューション

ソニーセミコンダクタソリューションズ株式会社（以下、SSS）では、食品製造業界のこの課題に対する解決策として、市販のマルチバンドフィルターとSWIRイメージセンサー（IMX990^※）を組み合わせ、異物検査や成分検知に最適化した普及型分光カメラのコンセプトを提案しています。

※IMX990は、SenSWIR™技術を搭載した高性能のSWIRイメージセンサーです。単体で可視光を含む0.4μm～1.7μmの広帯域撮像が可能です。（→SWIRイメージセンサー）

普及型分光カメラのコンセプト

現在市販されているマルチスペクトルカメラには様々な分光方式があります。その中の一つが、スリットを通った光をプリズムや回折格子といった分光器を使ってイメージセンサーの像面に波長情報を展開し、それをラインスキャンで読み出す方式です。（下図「一般的なマルチスペクトルカメラ」参照）

この方式は、解像度の低下が起こらないことが長所ですが、カメラが大型で高価になりやすいという短所があります。また、ラインスキャンで読み出すため、被写体もしくはカメラが一定の速度で動くシーンでしか活用できないという制約もあります。しかし、製造業では被写体がベルトコンベアによって一定の速度で流れてくることが多いため、広く使われています。

そこでSSSでは、この方式をベースとし、分光器をプリズムや回折格子以外のものに置き換えることで、小型で安価な普及型分光カメラを作ることができるのではないかと考えました。
具体的には、マルチスペクトルカメラの分光器を複数の異なる波長を透過するマルチバンドフィルターに置き換える方法です。このマルチバンドフィルターはプリズムや回折格子と比べて安価で、イメージセンサーの直上に設置することで、従来のカメラと同じサイズでラインスキャン型の分光カメラを実現できます。（下図「SSSが提案する普及型分光カメラ」参照）

従来のカメラシステムとの比較

数百を超える波長を取得できるマルチスペクトルカメラは、さまざまな異物や成分の検出に対応できますが、用途を限定した場合、4波長あれば精度の高い識別ができると仮定しています。この条件で3種類のカメラシステムを比較すると以下のようになります。普及型分光カメラは、低価格でありながら撮影データの処理がシンプルで、導入しやすいシステムです。加えてカメラサイズも小型で、設置も容易という利点があります。

４波長での異物検査を行う場合の比較

	普及型分光カメラ	一般的なカメラ４台	マルチスペクトルカメラ
		（選別に必要な波長に対応したバンドパスフィルター付）
価格	安い	高い	非常に高い
カメラシステムが取得できる波長数	４波長	４波長	数百波長
波長選択	不要	不要	必要
設置に必要なスペース	カメラ1台分	カメラ4台分	カメラ十数台分
同一画角での４波長の同時撮影	できる	できない	できる

普及型分光カメラを活用したさまざまな検査事例

さまざまな用途を想定した、実際の検査事例を見ていきましょう。
以下の事例で使用したカメラは、食品に含まれる成分が特定の波長の光を吸収する特徴を利用し、食品検査に適した4つの波長帯を選定したマルチバンドフィルターを搭載しています。

マルチバンドフィルターを用いて、脂質・水分・タンパク質の吸収に対応する特定の波長の画像を撮影し、一般的なカラーカメラでは得られない情報を取得することが可能です。さらに、撮影したマルチスペクトル画像から被写体に適した画像処理を行うことで、カラーカメラやモノバンドでは判別が困難な成分や異物を可視化することに成功しています。

【撮像事例1】茶葉の水分量の測定: 水分検知

茶葉の製造における乾燥工程での水分量検査を想定した事例です。茶葉の乾燥度合いは、葉に含まれる水分量によって判断することができますが、目視での識別は困難です。本事例では、水分量が異なる4グループに分かれた茶葉を撮影しています。水分が1450nmの光を吸収する特性を活用し、茶葉に含まれる水分量を可視化しています。

【撮像事例２】クルミの異物検査: 同色異物の検出

クルミの殻の選別検査を想定した撮像事例です。一般的に、クルミは殻割り後にふるいにかけて実と殻を分けますが、殻を完全に除去することは困難です。残存する殻は、人手による検査と除去が必要となります。この手作業での検査を想定し、一般的なカラーカメラと普及型分光カメラを使って撮影比較を行いました。
カラーカメラの画像では、クルミの実と除去しきれなかった殻の色が似ており、特に形状が酷似する殻の場合、識別が非常に困難です。
本事例では、クルミの実と殻を区別することに適した4つの波長で撮影し、それらの画像を用いて異物（殻）を赤色でカラーマッピングする処理を施しました。複数の波長データを組み合わせることで測定精度が向上し、カラーカメラでは識別が困難だった異物を容易に検出できています。

Note：この事例で使用した主成分分析のアルゴリズムに関する情報は、リリース予定のホワイトペーパー内で公開予定！興味のある方はこちらから事前登録をお願いします。

展望

上記の事例では、2バンドおよび4バンドの画像を用いた検証をご紹介しました。複数波長の画像と画像処理を組み合わせることで、検査の応用範囲をさらに拡大できる可能性があります。
SSSでは現在、食品製造業界の各種検査に最適化した普及型分光カメラの利用拡大に向けて、さまざまなユースケースでの検証を進めています。この普及型分光カメラはフィルターの仕様を変更することで、他の産業分野へのアプリケーション拡大も可能です。

普及型分光カメラや、その活用にご興味のある方は、こちらより是非お問い合わせください。
また、SWIRイメージセンサー搭載のカメラリストは、こちらからダウンロードできます。リストには、普及型分光カメラも含まれますので、カメラをお求めの方は、ご活用ください。