イントロダクション
マシンビジョンの歴史は、従来のモノクロカメラを利用したシステムから、現在のフルカラー画像を利用したシステムへと大きく進化しています。それと同時に、より高度な検査・分析を行うために、可視光領域の画像だけを取り扱っていたシステムから、可視光と不可視光の両方のスペクトル帯域を利用できるシステムへと変貌を遂げつつあります。
現在、マシンビジョン業界で利用されているカメラのカラー出力は、主にベイヤー配列によるセンサ、またはトライリニア式のセンサをベースにしています。しかし画像処理技術が従来のカラー出力よりも進歩し、標準的なRGB画像だけで検査タスクに臨んでいたのでは不十分となってきました。従来のRGB画像でも、これまでとは異なる波長帯域を必要とする用途や、可視光領域と不可視光領域を組み合わせて検査する用途も登場しています。また、近紫外領域(UV)、近赤外領域(NIR)、短波長赤外領域(SWIR)など、不可視光領域のみを必要とし、可視光を必要としない用途もあります。
計測用途における画像利用も、従来との比較においてより複雑化し、さらに多くのスペクトル・チャンネルと高いスループットが求められるようになったことから、独自のスペクトル・フィルタを備えた専用カメラを組み込んだアプリケーションを構築する要求が高まってきました。このようにマシンビジョン業界は、測定技術と撮像技術と画像処理技術の融合によって常に進化しています。一貫性、高信頼性、色再現性に優れたマルチスペクトル・イメージングが、工業製品の品質管理や医療の世界においてより重要な役割を果たすようになっているのです。
マルチスペクトル・カメラは、スペクトル全体の中から、特定の周波数帯域だけを抽出して、画像データとして捉えることができます。特定の波長(赤外線のような目に見えない周波数帯域からの光を含む)に高い感度を持たせるために、スペクトル・バンドパス・フィルターと各種コンポーネントに最適に組み合わせて、クリアに分離して捉えることを可能にしています。こうした仕組みによってマルチスペクトル・イメージングでは、人間の目では捉えることのできない情報を撮影しているのです。
このドキュメントでは、マルチスペクトル・イメージングによって実現されるソリューションを紹介しながら、皆さんご自身のマシンビジョンシステムにマルチスペクトル・カメラが持つ機能をどう活かしていくかという点を詳しく解説します。ぜひご参考になさってください。
マルチスペクトル・イメージングとは？
「マルチスペクトル」という用語は、時として誤解されたり、誤って伝えられたりすることがあります。これは、物理学の教科書に「マルチスペクトル」についての明確な定義がないからと言ってもいいでしょう。文字どおりの意味は、複数のスペクトル帯域を使用して画像化・視覚化することですので、この定義に従うなら、「RGBカメラもマルチスペクトル・イメージングのひとつ」と言うことができます。しかし一般的には、可視光領域と近赤外光領域(NIR)の両方のスペクトル帯域をカバーできるカメラを指すことが多く、「RGBとNIRでの同時撮影を可能にしたデュアルバンド以上のカメラ」をマルチスペクトル・カメラと呼んでいます。
イメージング業界では「2～15バンドでの画像処理をマルチスペクトルと呼ぶことができる」という暗黙の理解もありますし、画像処理を扱う企業の中には、マルチスペクトルを「25バンドまで扱うシステム」と定義しているところもあります。このように定義があいまいな中で、科学文献で明確に定義されていることがひとつだけあるとすれば、それは「マルチスペクトル・イメージングとは互いに離れた位置関係にあるスペクトル帯域から構成されている」ということでしょう。またそれらのスペクトル帯域が連続している必要もありません。
例えば、マルチスペクトルによってキャプチャされた画像を処理するシステムでは、可視光領域に2つのスペクトル帯(下記の例では、ブルーの領域に1番目の帯域、レッドの領域に2番目の帯域)があり、NIR領域に3番目の帯域、SWIR領域に4番目の帯域があるというように、互いに分離した位置にあります。そのため、マルチスペクトル・イメージングでは、一定のスペクトルの範囲内の「ある部分」だけを特定して、ターゲットとする波長で被写体を捉えるという方法が用いられています。
マルチスペクトル・イメージングと混同されやすい技術にハイパースペクトル・イメージングがあります。この2つの用語は、ほとんど同じ意味で使用されることもありますが、実はあまり正しくありません。両者の明確な違いは分光特性にあります。ハイパースペクトル・イメージングでは、例えば1nm刻みの400～1100nmといった連続する範囲の波長を連続して利用します。このように、マルチスペクトル・イメージングとハイパースペクトル・イメージングには、考え方に明確な違いがあるのです。
マルチスペクトル・イメージングが活用されている アプリケーション
マルチスペクトル・イメージングは、農業、医療、工業分野をはじめ、マシンビジョンカメラが用いられる多くのアプリケーションで、これまで実現できなかった検査機能をもたらしてくれます。例えば、世界的な人口増加と天然資源の不足が予測される中、効率的かつ徹底した品質管理で農産物を生産することはが目下の急務となっています。
現在、農業生産者の多くは、作物の成長と品質の管理を両立させる手段として、目視による検査で評価することが一般的です。しかし人間の目が認識できるものには限界があることに加えて評価者の主観が入ってしまいます。品質評価には、人間の視覚を超えるだけでなく、従来のRGBを用いたカラーイメージングをも超える手法が求められているのです。
精密農業やインテリジェント農業を導入している農場では、マルチスペクトル・カメラを利用することで、まず収穫された農作物の品質評価する場面で、高い効率化による人件費の大幅削減を実現しています。さらに土壌成分までモニタリングすることで、その土地の生産性を評価し、高い精度の収穫量予測に基づいた収益の最大化に結び付けています。ここでは、マルチスペクトル技術から得られる、肉眼で見るよりもはるかに詳細で「有効」な画像情報を経営効率の改善に結びつけています。
収穫量予測のほかにも、生育中の農作物をマルチスペクトル・イメージングでモニタリングすることで、傷んだ果実を確認して成長管理に必要な対策を施す場面に活用されています。早期のダメージ検出による適切な対策は、良好な生育に不可欠のため、マルチスペクトル・イメージングを利用した雑草・病気・害虫の特定や駆除が広く活用され始めています。また作付面積と作物数を計測してスタッフを適切に配置する際にも役立っていますし、土壌肥沃度に関するデータは、生産に関わる土地の活用法と管理にとって、今後も大きな可能性を秘めた領域です。
農作物の成長支援に加えて、マルチスペクトル・イメージングを人工知能によるディープラーニングと組み合わせた「灌漑用水の制御や測定」、「家畜のモニタリング」などにも活用の輪が広がっています。
果物や野菜の検査では、可視光領域と不可視光領域を組み合わせることで、外観上の検査(色、質感、表面の傷、形状、サイズなど)と同時に、それぞれの果物や野菜に特有の状態検査(乾燥度、熟成度、水分含有量、糖度、脂肪含量など)を実施することが可能になり、その多くは外観からは判断できない情報を、近赤外領域で捉えた画像で判断できるようになっているのです。
そしてマルチスペクトルが「食の安全」に果たす重要性は、農作物だけでなく、肉や魚の検査でも同様です。カットする部位の特定し、脂身や骨の含有量の分析し、表面の損傷を確認し、肉の色味などをすべて同時検査することが可能になってきました。
医療用途、特に外科手術用途でも、マルチスペクトル・イメージングの活用が新しい潮流となっています。近赤外領域から得られた情報を画像処理することで、腫瘍を特定し、周囲の組織と区別する際に用いられているのは有名です。医療用途では小型化と同時にシステム全体の複雑さを軽減し、コストパフォーマンスに優れたマルチスペクトル・カメラが求められており、プリズム分光式のマルチセンサカメラが利用されています。
内視鏡を使った外科手術向けの画像処理アプリケーションでは、異なる波長帯域で2枚または3枚の画像を同時に撮像することができます。NIRチャンネルの画像はRGB画像にオーバーレイ合成されることが一般的ですが、蛍光剤(ICG/インドシアニン・グリーン)がタンパク質に付着する特性を利用して、カメラが捉えた術野の中で病理組織の範囲(切除すべきエリアはどこか)を明確に特定するために活用されています。（これまでは周辺組織まで含めて大きめに切除せざるを得ませんでした。）
こうした手術用の画像システムでは、ソフトウェア処理で特殊なビューイング機能を実現しており、RGBカラーのライブ映像と蛍光映像を重ねて表示しています。外科医が術野内の組織や血管を見やすくするために、赤色を強調表示するなど、近赤外画像だけでなく可視光のカラー画像も活かされていますので、RGBとNIRの同時撮影が最も適しているアプリケーションです。
医薬品業界では、造粒から充填、ストリップ(SP)包装の破損検出まで、医薬錠剤の製造、包装工程での品質検査にマルチスペクトルが用いられています。可視光領域(RGBカラー)と近赤外領域(NIR)を組み合わせることで、パッケージやブリスターパックの表面検査だけでなく、ブリスターパックを透過して中身まで見る検査に利用されているのはご存知のことと思います。同じ錠剤が過不足なく充填されているか、錠剤が欠けたり変色したりしていないか、異物が混入していないかといった品質分析に利用され、パッケージの形状に関わらず、数量計測と品質検査を同時に実施できる手段となっています。
工業用途で活用されている代表的な用途に、PCB(プリント基板)検査があります。RGBとNIRの両波長帯域で同時撮影することで、コンデンサやトランジスタなどの部品表面の検査と同時に、部品に埋め込まれた内部の銅線や金線の検査に使われています。また電子機器をリサイクルする場面では、貴金属類とその他の部品を正確に検出できる利便性から、RGBとNIRの組み合わせによる同時撮影が増えています。
繊維製品や印刷物の検査では、正確な色を再現しているかどうかを測定する用途にマルチスペクトル・カメラが活躍しています。サンプルとの正確な色合わせに用いられるのは当然のことながら、衣類に使用されているさまざまな素材―革・ビニール・プラスチック・糸・金属・ポリエステルーを正確に識別することができるため、多用途に用いられています。
ここに紹介した事例は、数多くあるマルチスペクトル活用の中でもほんの一部に過ぎませんが、一般的に、可視光領域内でも特に離散波長帯を必要とするアプリケーション、そして可視光領域とNIR領域とSWIR領域まで広くキャプチャする必要があるアプリケーションでは、すべてマルチスペクトル・イメージングを導入することによる大きなメリットがあるといえます。
さまざまなマルチスペクトル・カメラ 技術
ごく初期のマルチスペクトル・イメージングシステムとして思い出されるのは、宇宙観測における画像活用、そして絵画や文化遺産といった有形文化財の調査・分析とデジタル化によるアーカイブで利用されていた場面です。1972年に打ち上げられた初代の地球観測衛星・ランドサット1号には、グリーンとレッドの可視光チャンネルに加えて、2つのNIRチャンネルを組み合わせた、合計4つの波長帯域に高い感度を持つ多波長観測と画像処理システムが備わっていました。
1999年に打ち上げられたランドサット7号までの間に、システムは可視光領域のブルーから熱赤外領域まで、合計で8つのマルチスペクトル帯をキャプチャできるように改良が進められています。こうしたマルチスペクトル・センサを搭載した衛星は、主に沿岸と海流の観測、植生分析、干ばつストレス観測、火災による焼失地域の把握、そして雲のパターン観測に至るまで、現在でも農業や自然環境の分析に利用されています。人工衛星には、光学系からセンサにいたるまで、極めて精緻で高額なシステムが導入されていました。
他方で、芸術や考古学の分野では、静止画を撮影する高度なマルチスペクトル・カメラが長く利用されてきました。このカメラは、最大18ものマルチスペクトル帯を捉えることができ、美術絵画を写像したり、顔料やレタッチングを鑑定する際に現在でも利用されています。色褪せた古い文献や遺物をデジタル・アーカイブ化したり、判読しやすいように、マルチスペクトルから得られた画像を視覚的に強調するといった使い方がされています。美術の修復家は、マルチスペクトルと画像処理によって、原画部分と修復部分を区別して、適切に修復・保存する処置を施せるように役立てられてきました。
技術的には意外と長い歴史を持つことが、こうした事例からもお分かりいただけると思いますが、フーリエ変換赤外分光法、液晶チューナブルフィルタ、広帯域フィルタや狭帯域フィルタなどをベースとして、長い進歩を経て、さまざまなタイプのマルチスペクトル・イメージングシステムが開発されてきました。
こうした手法が進化するにつれて、超ハイエンドな人工衛星、芸術作品の保存修復システムから、解像度やフレームレートの選択肢が広がり、魅力的な価格を実現した廉価なデバイスも登場したことで、マシンビジョンカメラの世界にも移行が進んでいます。幅広いマルチスペクトル用途に応じた多様な製品が登場していますが、ここからは、マシンビジョン用途でも、ますます注目と期待が高まるカメラ単体として実現された各種のマルチスペクトル・イメージング技術に焦点を当てて見ていきましょう。
独立したカメラを2台以上使う方法（エリアスキャンカメラ、ラインスキャンカメラ）
かつては、マシンビジョンシステムに異なる波長帯域でキャプチャする手段を組み込む場合、最も容易な実現手段だったのが複数のカメラを使うことでした。例えば果物を外観から色検査して、同時に内部の傷検出も実施したい場合に、カラーカメラに加えて、もう1台のNIRカメラを追加するという方法です。しかしRGB画像とNIR画像のスペクトルデータを1つの検査工程に組み込むことは非常に難しく、かつてはエラー発生の原因となっていました。カメラを並べて配置すると光学的な視差が大きくなりますので、2台のカメラの画像を合成して、被写体の位置をピクセル単位で正確に合わせることは不可能に近く、擬似的に実現する場合でも、かなりの困難を極めました。結果的に、カメラを2台並べるよりも独立した専用の検査工程を設ける方が、システム全体がシンプルになるという本末転倒なシステムインテグレーションになったりしました。画像処理の進歩でこの問題は徐々に解消されつつありますが、それでも照明・レンズといった周辺機器がカメラの台数だけ必要になり、また設置調整とケーブル配線も含めた手間と費用が増えるのは、このシステムでは当たり前でした。
フィルタ・ホイール搭載カメラ（エリアスキャンカメラ）
フィルタ・ホイール搭載カメラは、複数の狭帯域フィルタをセットした回転ホイールを、センサまたはレンズの前に取り付け、フィルタを切り替えることによって、マルチスペクトルの画像をキャプチャするものです。フィルタ・ホイール方式では12チャンネルまでの波長帯域に対応したカメラが一般的に普及しています。フィルタ・ホイール搭載カメラの利点は、どの波長帯域も高い空間分解能で撮影できる点にあります。用途に応じてホイールを回転させることでフィルタが切り替わりますので、異なる波長帯域でも容易にキャプチャすることができます。しかしこのシステムの欠点として、ホイールの回転と撮像シャッタの同期が必須となるため、低速で撮像に時間がかかること、画像フレーム内の「被写体の位置決め」が複雑になること、画像に複雑な幾何学的歪みが生じること、フィルタのカスタマイズが高価なこと、などが挙げられます。また、ホイールという機構的な可動部分がありますので、定期的なメンテナンスや部品交換を考慮しなければなりません。場合によっては電動ホイール機構など外部装置を追加する必要性もあります。
フィルタ・ホイールを用いるマルチスペクトル・カメラ：回転ホイールをレンズの前に配する場合や、センサとレンズの間に配する場合があります。 ベイヤーモザイクパターンを用いたマルチスペクトル・フィルタアレイを用いる方法（エリアスキャンカメラ）
ベイヤー式のカラーフィルタアレイ(CFA)と、デ・ベイヤー処理を併用する単板カラーセンサの搭載は、現在流通している低価格帯の小型カラーデジタルカメラにたいへん普及しています。このCFAの概念をマルチスペクトル・フィルタアレイ(MSFA)に応用することで、カメラのサイズやコストを上げることなく、マルチスペクトル画像やハイパースペクトル画像を1ショットでキャプチャすることが実現されています。この撮像方式は「スナップショット・モザイクカメラ」として知られています。イメージセンサは、VIS(可視)、VIS-NIR、NIR-SWIRに渡る広い波長帯域をカバーして、4～40チャンネルまでのスペクトルに対応できるカメラが登場しています。しかし1画素ごとにフィルタを重ね合わせる製造工程は極めて高い精度が求められ、またカスタム仕様に近い側面がありますので、高い品質を一貫して維持することが困難で、また大量生産によってコスト低減を目指すことも不可能でした。また実運用面でも、比較的、クロストークが生じる割合が高いという課題があります。これは全体的なスペクトル感度、ピクセルに付随するノイズパラメータ、スペクトルを再構成する精度に影響を与える可能性がありますので、複雑なフィルタのアルゴリズム修正が必要になります。さらに大きな課題は、フィルタアレイ上に各スペクトル帯をキャプチャするためのバンドパス・フィルタが極めてバラバラに分散配置されていますので、マルチスペクトル・フィルタアレイのデ・モザイク処理はたいへん複雑になります。後処理には手間と時間を要する点も克服すべき課題です。キャプチャできる波長帯のチャンネルが増えるほど、MSFAにモザイク配置される各帯域のフィルタも、よりバラバラと散財して配列されます。これはベイヤーRGBパターンを補間して、推定した値を擬似的に出力しているのとまったく同じ概念ですので、補間を利用するということは空間解像度が低下する要因です。
スナップショットモザイクセンサをベースにしたカメラ：ワンショットでマルチスペクトル画像をキャプチャすることができる反面、各スペクトルバンドを捉えるためのフィルタが、個々のピクセル上にまばらに配されているため、デ・モザイク処理が課題となります。 ビーム・スプリッタを用いて2台のカメラを使う方法（エリアスキャンカメラ）
複数のカメラを並列配置したときに生じる視差の問題を回避する手段として、共通の光学経路から得られる光を同時に複数のカメラで撮影できる「ビーム・スプリッタ」を組み込む方法があります。例えば、2台のベイヤー式カメラを使用して、それぞれのカメラが3つ波長帯の画像を撮像すれば、6チャンネル(RGB×2)のスペクトル画像が得られるという考え方です。あるいはベイヤー式カメラと近赤外領域(NIR)に高い感度を持つ2台のカメラを組み合わせて、4チャンネル(R・G・B＋NIR)を出力させるという組み合わせも可能です。ビーム・スプリッタとカメラを追加すれば、撮像できるスペクトル・チャンネルを増やすこともできます。このアプローチを用いることで、複数カメラの並列配置で生じていた「キャプチャされた画像の正確な位置合わせ」という課題が大幅に軽減されます。撮影後のポスト処理次第では、1枚に合成してから出力させることも可能です。しかし、このアプローチに残る課題としては、複数のカメラを配置するので、物理的なスペースが大きくなることと、そこに起因してコスト面でも高額になってしまうという点が挙げられます。またビーム・スプリッタを使用すると、光量が失われるという問題があります。システムを高速化すると、カメラとしてはシャッタースピードが短くなることを意味しますから、受光感度がさらに低下する可能性もあり、多くの場合は高出力の照明装置が必要です。
ビーム・スプリッタによるマルチスペクトル・イメージング：複数カメラによる同時撮影を可能にしますが、光量が減じられる側面があります。 
ダイクロイック・プリズム分光によるマルチスペクトル・イメージング：ビーム・スプリッタを用いる手法の一種とも言えますが、この方法なら両センサとも完全な同一光軸上の画像を捉えることができます。レンズも本で済みます。 多板式のダイクロイック・プリズム分光式カメラ（エリアスキャンカメラ、ラインスキャンカメラ）
概念的にはビーム・スプリッタを用いたアプローチと似ていますが、大きく異なる点は2つあります。1つ目は、分光機能を担うプリズムに取り付けるのはセンサだけで、「カメラそのものではない」という点です。従ってビーム・スプリッタと複数のカメラを組み合わせたシステムよりも、物理的に小型化することが可能です。2つ目は、プリズムブロックには、硬質のダイクロイック・コーティングが施されていますので、これが干渉フィルタとして機能することで、入射光のクリアな分離が可能である点です。しかも各スペクトル帯でキャプチャするためにセンサが必要とする十分な入射光量が確保されています。ビーム・スプリッタ方式のように入射光量が分割される度に減衰することもなく、キャプチャしたいスペクトル帯が可視光領域であっても不可視光領域であっても、また広帯域であっても狭帯域であっても、全スペクトル・チャンネルのセンサが、全光量を受光することができます。
ベイヤーモザイクの手法とは異なり、プリズムによって分光していれば、どの波長帯もセンサが本来持っている全画素によって画像を捉えています。現在、JAIのエリアスキャンセンサによるマルチスペクトル・カメラでは、波長帯域ごとに最大320万画素を最大100fpsで出力でき、またラインスキャンセンサによるマルチスペクトル・カメラでは、波長帯域ごとに8192画素を35kHzのラインレートで出力することができます。ただし、このアプローチによるマルチスペクトル・キャプチャにも若干の制約があり、大きなセンサを複数搭載する場合にはプリズムのサイズも大きくなる点、つまりカメラ本体のサイズが大きくなることが挙げられます。そのため、使用できるセンサには最大解像度やピクセルサイズに制約が出てしまう可能性もあります。それでもビーム・スプリッタを用いるシステムよりははるかに小型で、何よりカメラ1台でマルチスペクトル撮影が可能な点は、柔軟なシステム構築を可能にしてくれます。
3チャンネル分光のオプティカルプリズム・ブロック：複数のプリズムから構成され、一次分離と二次分離によって入射光を3方向に分離します。 
各分離面には硬質ダイクロイック・コーティングが施され、フィルタの役目を果たしています。 マルチラインカメラ（バンドパス・フィルタ付きトライリニアカメラ・クワッドラインセンサカメラ・TDIラインスキャンカメラ）
マルチラインセンサを搭載したラインスキャンカメラを、マルチスペクトル撮影に応用することもできます。トライリニア式カラーセンサを搭載したラインスキャンカメラがRGBによるアプリケーションに広く利用されていますが、クワッドラインセンサカメラを利用すると、R/G/B/NIRまたはR/G/B/モノクロのセンサ構成が可能になるため、そのままマルチスペクトル撮影を実現することができます。
マルチラインセンサのライン数は、3ラインから数十ラインまでさまざまですが、現在、最も普及しているカメラは、8～16ラインを持ち、各ラインに特定の波長帯域の光だけを透過させる独自のバンドパス・フィルタを組み合わせることで、最大16バンドのマルチスペクトル画像をキャプチャできるものです。この技術を応用して3つまたは4つのスペクトル帯域で、約200ラインに実装したTDIラインセンサに発展させる技術も実現されています。マルチラインセンサを搭載したカメラであれば、既存のRGBセンサ上に光学フィルタを追加するだけでマルチスペクトル撮影に対応できます。この場合、まず光学フィルタの数に応じて、水平方向のライン解像度を4つのエリアに分割します。そして5つの光学フィルタとRGBセンサを組み合わせ、最大15チャンネルのスペクトル帯を同時キャプチャできるようにする技術です。このアプローチによる課題として、スペクトル・チャンネルの数が多いほど、水平解像度が低下してしまう点が挙げられます。
マルチラインセンサを搭載したラインスキャンカメラ：各ピクセルのラインに独自のスペクトルバンドパス・フィルタを備えることで、マルチスペクトル・イメージングに応用することもできます。 
マルチラインセンサを搭載したラインスキャンカメラ：この図では光学アセンブリにフィルタを追加することで実現しています。ラインスキャンセンサを分割することで、それぞれのセンサのエリア毎にそれぞれのスペクトル帯をキャプチャします。トライリニアセンサを3つのスペクトルに分割し、1台で9チャンネルを同時撮影できるマルチスペクトル・カメラが実現されています。 マルチスペクトル・イメージング用プッシュブルーム方式カメラ（ラインスキャンカメラ）
ハイパースペクトル・カメラで般的に用いられているプッシュブルーム方式は、マルチスペクトル・イメージングにも応用することができ、またこの方法によって、キャプチャできるスペクトル・チャンネルの数を大幅に増やすことが可能です。プッシュブルーム方式では、まず「x-λスキャン」、つまりx方向(水平解像度)と、λ方向(複数の波長帯)のスキャンが実行され、続いて、y方向(搬送方向)のスキャンが行われます。この方式でも、どのスペクトル・チャンネルもラインセンサの全画素によって捉えていますので、完全な空間解像度を維持しています。プッシュブルーム方式のカメラは、レンズ、イメージング分光器、シリコンセンサ(VIS-NIRの場合)またはInGaAsセンサ(NIR-SWIRの場合)の3つの主要コンポーネントから構成されます。中でもイメージング分光器は、光分散ユニットと集束光学部品から構成され、プッシュブルーム方式のカメラの核を成す重要なコンポーネントです。イメージング分光器内では、光がレンズに入光すると、スリット、コリメータ、分散ユニットを通過してイメージセンサ上に集束され、x-λ座標の1ラインをキャプチャします。現在まで、5～224バンドの間で自由に波長帯の数を選択でき、最大1024画素のライン解像度で出力する技術が確立されています。また使用するセンサの種類にもよりますが、捉えるスペクトル帯の範囲としてはVIS-NIRをキャプチャするケースが一般的です。プッシュブルーム方式ではチャンネル数のを大幅に増やすことができる反面、チャンネル数が増えるにつれて速度が遅くなる点が課題と言えます。ハイパースペクトルのフルレンジ(224バンド)で実現されているフレームレートは500Hzしかなく、遅すぎて産業用途で使うには厳しい場合があるかもしれません。
プッシュブルーム方式によるハイパースペクトル・イメージング：空間情報とスペクトル情報を一本ずつ撮影することによって、マルチスペクトル・イメージングを実現します。
エリアスキャン vs ラインスキャン：マルチスペクトル・イメージングにおけるアプローチ
これまで解説してきたマルチスペクトル・イメージングの手法の中でも、産業用途という高速が求められる環境で利用できるものとなると、選択肢は限られてきます。まずエリアスキャンカメラでは、多板式プリズムを用いる手法なら、大量生産される製品の検品用途などの高速検査に適しています。モザイク化されたマルチスペクトル・フィルタアレイ(スナップショット・モザイク)やフィルタ・ホイール方式によるエリアスキャンカメラでは、撮影後のPCによる画像処理が複雑多岐にわたり、産業用途で用いるには時間がかかり過ぎるからです。
解像度という点で見れば、スナップショット型のモザイクカメラを用いる場合、空間分解能やピクセル情報を再構成する必要性があり、産業用途の要求に応えることが難しい側面を内包しています。フィルタ・ホイール搭載カメラについては、撮像コンポーネントとして見た場合カメラ部分が大きくなってしまい、また回転機構による可動部品を抱えていることから、定期的な部品交換や調整が必要で、堅牢性が低下する側面を無視するわけにはいきません。とはいえ、プリズム分光式の多板センサカメラと比較した場合に、スナップショット・モザイクやフィルタ・ホイールを用いたカメラは、より多くのスペクトル帯をキャプチャすることができるというのは魅力です。スナップショット・モザイクは従来からある農業用途や、昨今のインテリジェント農業用途など、それほど厳密な空間精度が必要とされないアプリケーションで、お使いいただける場合もあります。またフィルタ・ホイール搭載カメラは、古い絵画や芸術作品のデジタル・アーカイブによく用いられているのは、ホスト処理に十分な時間をかけることができるからです。一方で多板式のプリズム分光式カメラが効果的に活用できるアプリケーションには、昨今の精密農業やインテリジェント農業のほか、果物・野菜・肉・魚介類などの食品選別検査、医薬品のパッケージング検査、電子部品検査、プリント基板検査など、高速が求められるインライン検査に用いられています。
ラインスキャンカメラを利用したマルチスペクトル・イメージングでは、以下の2つのアプローチに今後の大きな可能性があります。1つ目は、プッシュブルーム方式のハイパースペクトル・センサを用いて、ハイパースペクトル(225のスペクトル帯)からマルチスペクトル(6.5kHzラインレートで5つのスペクトル帯)までスケールダウンする手法です。食品や医薬錠剤などの包装パッケージの透過による検査、リサイクル品の選別など、「中速」な検査用途であれば産業用途でも実際に使用されている事例があります。2つ目は、プリズム分光と多板ラインセンサを組み合わせたアプローチです。
JAIには、4K解像度で最大77kHzと非常に高速なライン出力で、可視光領域と近赤外領域(NIR)を合わせて4つのスペクトルを同時に撮像できるラインスキャンカメラがラインナップされています。この速さを活かして、ベルトコンベヤーやレーンを流れる野菜を高速で不良品選別しながら、同時にNIRで内部検査も実施するというアプリケーションで実際に使われておりますし、高速レーンよりもさらに速いスピードで自由落下する被写体を撮影するような食品選別などの用途でも利用されています。
そのほか、標準的なトライリニア式ラインセンサと光学フィルタを組み合わせることで、水平方向の解像度は若干減りますが、6～12チャンネルまでのマルチスペクトル撮像を実現した方法もあります。しかしこの手法は、長年にわたって印刷、食品、セラミック、繊維製品の検査用途で用いる試みが進められてきましたが、キャリブレーション手順が複雑で、精度も低く、またAPIの使用が困難であるといった別の理由もあって、なかなか採用には至っていない様です。
マルチスペクトル・イメージング用の カメラを選ぶ際に検討すべきこと
セットアップやシステムインテグレーションが容易か
マルチスペクトル撮影された画像の処理は、標準のマシンビジョンカメラによるRGB画像を処理するよりもはるかに複雑になります。マルチスペクトル・イメージングにおいて、さまざまなコンポーネントを組み合わせるには、カメラ単体の知識はもとより、光源、検査対象物の性質、データ処理と画像データの補正に伴うキャリブレーション手順についても、専門的な知識が求められます。システム全体としてはハイパースペクトル・システムほど複雑ではありませんが、マルチスペクトル・イメージングによって「システムとして何を実現したいか」について、もう一度、考察してみると、必要となるコンポーネントが見えてくる一助になるでしょ。った別の理由もあって、なかなか採用には至っていない様です。
速度と解像度
産業用途の検査システムには高いスループットが要求されます。これはカメラからの出力フレームレートという意味ではなく、システム全体として見た場合のスループットです。マルチスペクトル・イメージングシステムでは、画像データをどう読み出して、どうポスト処理するか、というアーキテクチャの組み方次第で、スループットが制限される場合もありますし、高速性というメリットを享受できることもあります。速度が影響を受ける要因には、スペクトルのチャンネル数や使用するマルチスペクトル技術、カメラからの出力インタフェースの種類などさまざまです。チャンネル数が多くなるほど、高速アプリケーションの場合には必要となる光量が得られなくなる場合があります。また特に小さな被写体を検査する場合には、空間分解能がマルチスペクトルの課題になることもあります。スナップショット・モザイクカメラでは、デ・モザイク処理によって個々の画素が本来キャプチャしていない空間情報を補間によって、擬似的に「推定」して出力しているに過ぎませんので、小さな被写体に映るさらに小さな欠陥を検査する目的に対しては、正確な検出を期待するのは難しいかもしれません。必要なチャンネル数と、システム全体として見た場合に実現可能な速度(スループット)、解像度の3つがトレードオフの関係となり、どれも要求された場合にはアプリケーションに応じて、優先度や選択を迫られる局面があるかもしれません。
スペクトル・チャンネルの数
アプリケーションに応じて、必要となるチャンネル数は異なりますが、検査対象物の性質、要求される検査の精度、キャプチャ後にポスト処理によって実現できる検査内容とその精度、といった点が必要なチャンネル数を決定付ける要因になります。例えば、レッドエッジ検出やNDVI分析といった植物の生育状況を測定する場合には、植物から目的のデータを画像として取得するために、「レッドと近赤外領域(NIR)の、どの波長帯でキャプチャすべきか」とうことが始めから分かっています。同様に、プラスチックや有機材料をキャプチャするために必要なスペクトルの範囲もすでによく知られていますし、蛍光内視鏡検査の場合に、ICG(蛍光剤)が吸収してしまう波長帯と光を放出してくれる波長帯も既知の事実です。このように事例が豊富なアプリケーションでは、対象となる範囲を超えて余分な波長帯域までキャプチャする必要ありません。一方、比較的多くのチャンネルが必要となるアプリケーションには、異なる物質がまばらに混在した状態を検査するときにNIRが1チャンネルだけでは捉え切れない場合や、特定の波長帯域を正確に識別するためにNIRチャンネルを複数のスペクトル帯に区切る必要があるアプリケーション、マルチスペクトルで捉えた画像を基準として、逆にその色(スペクトル)の正確かどうかを判断するといった目的などがあります。
柔軟性
柔軟性や拡張性を備えたマルチスペクトル・イメージングシステムなら、異なる種類の材料を同じ装置によって一度で検査してしまうことも可能になります。システム全体を柔軟に構築しておくことで、ニーズに応じてシステムを調整するだけで、異なるマルチスペクトル用途に対応することが可能になります。ここでいう「柔軟なシステム」とは主に、キャプチャするスペクトル数に応じて、ポスト処理する画像システムを「速度優先の高速処理」にしたり、「精度優先の低速処理」にしたりすることを指します。またカメラを柔軟性という基準で捉える必要もあります。フィルタ・ホイール式のマルチスペクトル・カメラでは、フィルタ・ホイール自体を簡単に交換できますので、求めるフィルタが変わればホイールごと交換するという柔軟な運用の側面がありますが、構造的に可動部品があれば、それは「壊れる」ことを意味しますので堅牢性の面で影響は否めません。一方、多板式のプリズム分光カメラは、製造工程での柔軟性という意味で、求めるスペクトルに応じた最適なバンドパス・フィルタを組み合わせることで、ベストな分光感度特性を持ったマルチスペクトル・カメラを作り上げることができるという一方で、プリズムブロックをアセンブリしてしまうと、製造されたあとで違うフィルタに変更して、異なるスペクトル帯をキャプチャすることは不可能になります。これはスナップショット・モザイクカメラも同じで、マルチスペクトル・フィルタアレイが一度センサに固定されてしまうと、同じカメラに異なるフィルタアレイを貼り付けるといったことはできなくなります。
マルチスペクトル撮影後の画像処理とデータストリーミング
マルチスペクトル・イメージングが抱える課題の1つはポスト処理です。ピクセルあたりのスペクトルが数百にもなるハイパースペクトルほどではありませんが、従来のRGBカメラを用いたシステムよりも後処理は高度で複雑となります。そのため、システムアーキテクチャには、マルチスペクトル・データを正確に処理して、フィルタリングし、解釈するという各ステップで異なる機能が求められます。もちろんスペクトル・チャンネルの数が少なければ複雑さが軽減されるのも事実です。
2つ目の課題は、カメラからポスト処理用のPCにデータストリーミングする際の問題です。カメラにマルチストリーミング機能があれば、異なるデータストリームをそれぞれ別に制御することができますが、これをアプリケーションソフトウェアのレベルで管理している場合に課題があります。マルチストリームを処理するには、2つ以上のストリームを同時に処理できるソフトウェアのアーキテクチャが必要となります。シングルストリームのみを対象に設計されたソフトウェアでは、デバイスが「シングルフレーム」か、「同時にすべてを扱えるマルチペイロード」のどちらかで送信してくると予測しています。そのため、シングルフレームとマルチペイロードのどちらの場合も、1つのストリームから画像取得するために、特定の関数を読み出すというプロセスが必要になります。JAIの「eBUS Player」など、カメラ・デバイスを読み取り専用モードで2つまたは3つのウィンドウで同時に開いておくだけで、複数のデータストリームを簡単に並行処理できるプラットフォームも市場にはいくつか存在しますが、いずれにしてもカメラにマルチストリーム出力機能が備わっていることが重要です。
システム全体のコスト
マシンビジョン導入を意思決定する場面で、コスト要因が重要な動機になることもあります。小型で使い勝手のよい量産品のカメラは、専門性が高く大掛かりなシステムに比べて、確かにコスト面の魅力はあります。またシステムコストは実施する検査工程によっても左右されますし、また食品や農作物の選別検査など、検査対象物が最終消費者に直接届くようなアプリケーションと、研究機関やハイテク企業に求められるイメージング科学分野のアプリケーションでは、低価格であること魅力を感じる度合いも異なってくるでしょう。現在、ハイエンドのハイパースペクトル・システムに組み込まれるカメラは、1つのカメラシステムあたり約20,000ユーロくらいで導入されているのが実態ではないでしょうか。大量生産されているマルチスペクトル・カメラなら、コスト面で魅力のある商品として捉えてもらうには、10,000ユーロを下回る価格設定でなければ妥当なプライシングとは言えません。複数のカメラを使ってマルチスペクトルを実現する場合は、多板式プリズム分光カメラやマルチスペクトル・フィルタアレイを装着したカメラを1台で済ませるよりも高額になるのは事実ですが、1台で済むことによってもたらされるコストメリットは、あくまでカメラに限った話です。浮いた費用でシステムに組み込まれるホストPCを強化したり、或いは汎用性の高い柔軟なシステムを組むことで異なるニーズにも対応出来す拡張性を残しておくなど、あくまで全体を見ながらコストを議論していく必要性があるでしょう。
ハイパースペクトルとマルチスペクト ルの将来
従来から、その被写体をキャプチャするために最適なスペクトル帯域を測定するためには分光計が応用されてきました。何十年にもわたって試行錯誤と検証を積み重ねて発展してきた分光計による手法は非常に正確ですが、スポットのみで広いエリアには対応できないため、近年では求められる場面が限られてきています。
しかし将来は、カメラをベースにして画像処理技術も併用することで、スペクトル・イメージングが用いられるケースが広がって行くでしょう。これは、スペクトル・イメージングもスペクトル分析も、あらゆる物質を最終的に「物理的なフットプリントによって定義付けることができる」という特性があるからです。スペクトルをフットプリントとして物質を同定・定義する目的のためには、これまでハイパースペクトルが活用されてきました。今後もこの用途でのハイパースペクトルはさらなる進化を続けると考えられます。宇宙ステーションや人工衛星に搭載されて以来、長い時間をかけた進化によってマシンビジョンでも手軽に利用できるようになり、またラボや学術研究用途にも大きな実績を遺しています。しかしハイパースペクトル・イメージングに大きな可能性のあるにもかかわらず、産業用途で大躍進を遂げるまでには至らなかったのは、Chapter 4で示したように非常に高額で複雑なシステムにも関わらず、実用面で産業用の検査アプリケーションに多く求められる基準、つまり高速スループットという要求を満たすことができなかったからです。
またビジネスとしてカメラを捉えた場合には、メーカーは最適な技術を搭載しようとチャレンジするのと同時に、市場シェア獲得のためには手頃な価格で提供する必要もあります。しかしこれまでのハイパースペクトル・イメージングでは、そのニーズに応えることも難しかったのは事実です。「鶏と卵の理論」に似ていますが、ニーズが少ないためにコストダウンが図れず、高コストであるが故に、また多くが採用されないという、今日までのハイパースペクトル・イメージングがあわせもってきた制限です。その経過段階における「最適解」がマルチスペクトル・イメージングと言えます。特に大量生産が前提となっている工業製品を検査する際の「移行技術」として、高スループット、高解像度、高い堅牢性、競争力のある価格で、使いやすく、捉えたいスペクトル帯域を適確にキャプチャできて、システムインテグレーションの容易さも兼ね備えています。
しかしマルチスペクトルが産業用途で普及が進む過程において、ハイパースペクトル・イメージングもまた領域を広げることになるでしょう。マルチスペクトルが用いられるアプリケーションにおいて「必要な波長帯域は何か」を特定するためのコアテクノロジーがハイパースペクトルだからです。マルチスペクトルを成功に導く鍵を握るのがハイパースペクトルと言っても過言ではありません。将来はハイパースペクトルとマルチスペクトルが併存して産業界に貢献してくことが予想されます。そしてマルチスペクトルが真に産業界の検査目的に活かされるようになるのは、高度なカスタマイズを可能にする技術が実現されたときです。ハイパースペクトルによる解析で特定の検査目的に必要となるスペクトル帯が個別に抽出され、定義されるようになってくると、次の段階として、そのスペクトル帯だけをキャプチャできる、専用のマルチスペクトル・カメラが求められるようになります。フィルタ・ホイール方式も容易にカスタマイズできる側面を持っていると言えますが、近い将来に、モジュール化されたプリズムブロックを用途に応じて組み合わせ、そこに特定のスペクトルだけをキャプチャするバンドパス・フィルタを組み合わせた、完全なカスタマイズによる「究極のマルチスペクトル・カメラ」が登場してくることになりそうです。
JAIへのお問合せは
マルチスペクトルエリアスキャンカメラ につきましては Fusion シリーズ
マルチスペクトルラインスキャンカメラ につきましては Sweep+ シリーズ
貴社の装置用途に最適なマシンビジョンカメラを見つけるお手伝いをします。
JAIのプロダクトエンジニアがいつでもご相談を承ります。
