正しいマシンビジョンカメラの選び方 - 貴社の装置でカラー画像処理の効果を最大化するには?

カメラ技術の課題、選択肢、および役割

イントロダクション


マシンビジョン装置において扱われる処理画像は、これまで長い間モノクロでした。現在もその大半のアプリケーションでは依然モノクロであるものの、一方ではカラー画像処理が必須であり、それがきわめて大きなメリットとなる用途も増え続けています。

マシンビジョン用途におけるカラー情報の利用は、この10年で著しく増えています。そしてそれに伴いカラー画像処理を支えるカメラ技術とアルゴリズムもまた、着実に進歩しているのです。今、多くのマシンビジョン装置の設計者は、色が重要な役割を担うシステムの開発にあたり、新たな課題に直面しています。

ここでは、マシンビジョンにおけるカラー画像処理固有の特性についてご紹介していきます。ぜひ参考にしていただき、貴社の装置用途に最適なカラー画像処理技術を選択しましょう。

Whitepaper Prism Technology 250X285
Chapter 1 マシンビジョンカメラにおけるカラー画像処理

マシンビジョンカメラにおけるカラー画像処理

近年、カラーマシンビジョンシステムの性能は飛躍的に向上しています。その理由の一つとして、カメラに収められたイメージセンサの解像度が向上したことが挙げられます。一方、カラーカメラの場合でもセンサ自体は直接色を認識するわけではありません。光を色情報として捉えるためには、カラーフィルタアレイがセンサ表面に貼られます。

しかしながらこのカラーフィルタアレイを用いた処理では、一般的に空間解像度が低下してしまいます。このため、かつてどのカメラも解像度が200万画素以下だった時代、単板式の標準的なカラーカメラは、求められる処理に対して実用に堪えられませんでした。しかし現在では500万画素以上の解像度を備えるカメラが多く普及しており、同じ空間に対する分解能が低くなっても画素数でカバーできるようになったのです。マシンビジョンの設計者にとってはカラーカメラを利用するハードルが下がり、より容易に設計要件を満たすことができるようになりました。

センサ技術の向上に伴い、ソフトウェアライブラリとカメラのファームウェアもまた、カラー画像処理の要件に適したものへと大幅に拡充されました。それまではカラーマシンビジョンシステムの設計には、色彩科学やカラー画像データ処理の幅広い専門知識が必要でした。近年高度なソフトウェアライブラリとカメラの内蔵機能によって処理工程がシンプルになったことで、カラー情報をより平易な方法で扱えるようになったのです。

マシンビジョンにおけるカラー画像処理の用途

マシンビジョンでカラー画像処理を利用すれば、幅広い用途でメリットを得ることができます。カラー画像処理の用途には、大きく分けて以下の3つに分類することができるでしょう。

  • 色検査

    カラー画像処理を用いて色データを得ることで、適切な結果を得られる検査の代表例です。特に着色製品の欠陥分類や形状検査では、カラー画像処理の利用が不可欠です。例えば、色分けされたワイヤの検査では、基板上のコネクタに各ワイヤが正しく配線されているかをチェックするには、マシンビジョンシステムでワイヤの色を読み取り、仕様と一致しているかを確認できなければなりません。

    Pcb Board Components I Stock 496473673
    カラーカメラでは、プリント回路基板上の色分けされたパーツをチェックするなど、モノクロカメラではできない検査が可能になります
  • 色による選別

    マシンビジョンによるカラー画像処理は、色による仕分けにも利用できます。対象物を色で等級を判別したり分類したりすることが可能になります。さらに、よく似た対象物の種別を判定するのにも利用されます。例えば、サクランボやリンゴなど、果物の成熟度を色味で選別する場合に有効です。

    Color Imaging Food Products
    色による選別は、食品の選別が一般的な用途ですが、多くの工業製品の選別にも利用されています。
  • 色の検出と照合

    色の検出を行うためには、カメラが捉えている色が何色であるかをカメラに指定する必要があります。カラーマシンビジョンの画像処理ソフトはカメラから得られるデータを利用するわけですから、ホストコンピュータで最初に必要となるのは、画像内のピクセル分布やブロブ(画素の塊)を色・明るさのレベル別にグラフ化したヒストグラムに対して、ターゲットとなる参照色値を紐づけることです。それによって、画像処理ソフトは検査対象物の色値と参照色値とを比較できるようになります。この照合処理を利用すると、例えば印刷物の色味が規定のコーポレートカラーと一致しているか、自動車のサイドミラーとドアの色が一致しているかなど、多くの検査用途に適用できます。

    Schermafbeelding 2018 11 30 Om 14 56 49
    厳密なカラーマッチングにより、自動車、梱包、フローリング等における安定した品質の保証が可能になります。

カラー画像処理で生じる主な課題

上記の用途において、カラーマシンビジョン装置でどこまでの精度が出るのか?あるいは、その精度で求められる検査水準をクリアできるのか?それを見極め、正しい設計をするためには、いくつか押さえておくポイントがあります。

  • 色再現性

    マシンビジョンのカラーカメラは、被写体からの反射光や周りの拡散光により生成される画素ごとのデータをホストコンピュータへ提供します。例えば2台のカメラがあり、どちらのカメラでも要求を満たす水準の画像が生成できる場合でも、個々の画素値はカメラの種類や特性、世代によって異なる可能性があります。本当に正確な色値は、研究施設の規定照明条件下で専用の特殊な装置で測定しなければなりませんが、目標はその値に最大限近づけることでしょう。

    Schermafbeelding 2018 11 30 Om 14 58 51
    同じターゲットを撮像している2台のカメラにおいて、たとえ同条件でホワイトバランスが調整されていた場合でも、異なるカラー値を示すことがあります。
  • 色の判別

    用途によっては、ほとんど同じ色の微妙な差異をマシンビジョンのカメラで識別できることが不可欠になります。例えば、何枚かの革を使用して財布やジャケットを作る場合、1つの製品に使われるすべてのパーツが同じ色合いであることが重要です。色合いが異なるパーツは、その色合いで一致させて別の個体に使用することはできますが、1つの製品にわずかでも色合いが異なるのものを混ぜて製造することは許されません。正確な色値を得られるシステムが大事な理由は、このように色を判別する精度を確保するためなのです。

    繰り返しますが、高いレベルの判別性を実現するには、正確な色情報を得ること、そして判定を繰り返しても同じ精度が得られることが重要です。低照度下では色値がより狭い範囲に集中するため、特に難しくなります。カラーカメラの感度が高くなるにつれ、逆に感度が高いゆえに生じる課題もあるものの、色再現性に関してはカメラの高感度が有利に作用します。

    Schermafbeelding 2018 11 30 Om 15 00 31
    微妙なシェーディングの違いを検出するには、さまざまな照明条件下で、高い色精度と優れた感度およびコントラストが必要です。
  • カラーカメラの空間分解能

    モノクロ用途と同様に多くのカラー用途でも、画像の細部を識別する必要があります。例えばバーコードやQRコードの読み取り、対象物の形状測定、位置決めなどを行う場合にも、対象物の輪郭を正確に捉えなければなりません。

    前述のように、カラーフィルタアレイで得たデータからベイヤー補間演算を用いてカラー情報を取り出す一般的なカメラの場合、演算で色値を推定した結果として輪郭にぼやけ、にじみが生じます。こうした輪郭情報の喪失は高画素のカメラを利用することで許容範囲内に収められる場合も多くあるでしょう。しかし一方では、高い色再現性と空間分解能を確保しなければならないアプリケーションも増えており、その場合はプリズム分光式カメラの利用が有効な選択肢となるでしょう。

    Schermafbeelding 2018 11 30 Om 15 02 26
    画像の細部を拡大してみると、エッジのぼやけ、偽色、その他の要因により、検査精度のパフォーマンスが低下する可能性があります。
Chapter 2 エリアスキャンカメラ vs. ラインスキャンカメラ

カメラの選択肢を見ていく前に、エリアスキャンカメラとラインスキャンカメラのどちらが貴社の装置用途に適しているかを決める必要があります。

カラーエリアスキャンカメラ

エリアスキャンカメラは一般に、検査や選別、解析の対象となる物体の形状や境界が決まっている場合に利用されます。例えば、果物や箱、プリント回路基板などの3次元の対象物を個別に検査する場合、縦横に画素が配列されたスクエアなセンサで2次元画像を生成するエリアスキャンカメラが最適です。

Area Scan Apple 1
エリアスキャンカメラは、撮像した画像(フレーム)を連続して出力します。
  • エリアスキャンカメラは、定義された領域を高速で撮像できます。

  • エリアスキャンカメラは、ラインスキャンカメラと比べて初期設定や設置が容易で、汎用性に優れています。

  • 連続した対象物を移動させながら行う検査に利用することもできますが、その場合は画像ごとに重なり合うエリアを設定して撮像し、さらに適切に解析するためにはそれらをつなぎ合わせるための処理が発生します。この後処理の負荷が非常に高くなる可能性があります。

カラーラインスキャンカメラ

ラインスキャンカメラは、ロール状やシート状製品、長さやサイズが異なる製品の検査用途に最も有効です。対象物の始点と終点が明確でない場合や、サイズが決まっていない場合に最適です。

例えば、いわゆる「ウェブ」検査で、ロールペーパーや織物、鋼材の検査が必要な場合は明らかにラインスキャンカメラが第一選択肢となります。同様に、果物や野菜、穀物などが不規則に並ぶコンベヤシステムや、森林や農地を上空から捉える航空画像の撮影にもラインスキャンカメラが有力な候補です。

Line Scan Apple 2
ラインカメラは、被写体が移動する場合、カメラ自体が被写体上を移動する場合において、撮像した1ラインごとの画像を連続して出力します。
  • ラインスキャンカメラは、1ライン分の画素を繰り返し高速で取り込むことによって、移動している対象物を走査します。

  • カメラが取り込む連続的な「リニア画像」は、取り込みと同時に解析することも、ソフトウェアによってラインを順次再構築し、解析用の大きな画像を生成することもできます。

  • 連続的に動作するため、ラインスキャンカメラの垂直解像度は実質的に「無制限」です。エリアスキャンカメラと比べて、全体の解像度がはるかに高い2次元画像を比較的容易に生成することができます。

Chapter 3 カラーエリアスキャンカメラ

カラーエリアスキャンカメラ

貴社の装置用途にエリアスキャンカメラが最適な選択肢で、かつマシンビジョンシステムにカラー情報を取り込む必要がある場合、次にカメラ方式を検討します。ベイヤーモザイク式カメラと多板式プリズム分光カメラの2つの選択肢があります。

  • ベイヤーモザイク式カメラ

    ベイヤー式カメラのイメージセンサには、決まった配列パターンのカラーフィルタが貼られています。ひとつの画素にR/G/Bいずれかのフィルタが配置されています。このため、個々の画素でR/G/Bすべての色値を得るには、周囲の画素を調べて、その画素で捉えることのできない2つの色を推定する補間処理が必要になります。

    Bayer Drawing 2
    ベイヤーフィルタを使い、各画素において単一のカラー(R,GまたはB)のみをキャプチャします。各画素において、キャプチャしていない他の2色は、隣接する画素でキャプチャされたデータを使って「補間」されます。
    • ベイヤー式カラーカメラを選択すべきケース

      カメラの価格が重要な判断基準である場合
      ベイヤー式カラーカメラは、プリズム分光式のカメラと比べてはるかに低価格です。320万画素のプリズム分光式カメラの半分以下の投資でも、十分な性能を備えた500万画素のベイヤー式エリアスキャンカメラを導入できます。

      最高水準の色再現性までは要求されない場合
      ベイヤー式のカメラでは、各画素の3つの色値のうち、2つを「補間する」、つまり推定することが必要です。したがって、ベイヤーアルゴリズムで算出されるRGB値と、被写体の「本当の」色値とは、画素によっては顕著な差異が生じることがあります。もし貴社の装置が、撮像で得た色を画像処理側で定義した基準色と照合するようなシステムの場合、ベイヤーデータの低い精度では問題が生じる可能性もあります。ただし、例えば画像内の1つの色と他の色を比較する場合のように、色を使用する目的が相対的な精度のみの場合は、ベイヤー式カメラで十分です。

      色の微妙な差異の判別が不要な場合
      ベイヤーフィルタの場合、色の絶対的な精度が低めであることに加え、各画素に受ける光がフィルタでブロックされるため、実効感度も全体的に低下します。これらの要素が原因となり、一般にベイヤー式カメラの場合、わずかな色合いの違いを識別する性能が低くなります。しかしながら、色の判別に関する要求がさほど厳しくない用途では、低価格というメリットを活かしつつ、十分に良好な画質を得られる可能性があります。

      高い空間分解能が不要な場合
      前述の通り、ベイヤー式カメラでは画像内の輪郭や線、小さな印字などにすべて補間処理が適用されるため、全体的に細部の描写が損なわれる傾向があります。しかしながら、貴社が設計するシステムが最高水準の空間分解能まで要求しない場合は、ベイヤー式は種類も豊富で選びやすいはずです。また細部の輪郭情報が必要な場合でも、画素数を上げるという方法もあります。その分価格は上がり、また後処理のオーバーヘッドも大きくなるものの、許容できる場合はやはりベイヤー式エリアスキャンカメラが適していることが多いでしょう。

      ますます多くのマシンビジョン用途において、カラーイメージングが必要とされています。このビデオでは、ベイヤーカラーフィルターを搭載したカメラと比較して、3-CCDまたは3-CMOSカラーカメラが提供するいくつかの利点について説明します。(英語)
  • 多板式プリズム分光カメラ

    多板式のプリズム分光式カメラでは、ダイクロイックコーティングを施した高品位のプリズムにより、入射光はR/G/Bそれぞれの波長帯域ごとに分離され、3枚あるセンサで個別に受光します。1枚のセンサはRed、Green、Blueいずれかの帯域を全画素で受けるため、いわば3枚の画像情報を合わせて最終的に1枚のカラー画像として出力するのです。こうして提供された画像は1画素ごとにそれぞれR/G/Bすべての輝度情報を持っているため、ベイヤー式のような補間処理は不要です。

    Prism Drawing 2
    ベイヤー式カメラでは、隣接する画素のデータを使ってRGB値を補間しますが、プリズム式カメラでは、1つの入射光を3つに分離し、R,G,B用として正確に位置合わせされた3つのセンサで撮像します。これにより、各画素における正確なR,G,B値を取り込むことができます。
    • 多板式のプリズム分光式カラーカメラを選択すべきケース

      最高水準の色再現性が必要な場合
      3枚のセンサを備えるプリズム分光式のカメラでは、各画素の正確なR/G/B値が得られます。補間処理が不要なため、画像処理工程へ入力される色値はベイヤー式カメラより高精度です。前述のとおり、正確な色値を得ることは色合わせや微妙な色を判別する上で極めて重要です。

      高感度のカメラが必要な場合
      ダイクロイックプリズムフィルタは、ベイヤーフィルタと比べて光の透過率が高く、センサでより多くの光量を受けることができます。さらにベイヤー式カメラの場合、ひとつの画素はR/G/Bいずれかの光しか受けません。つまり全波長のうち2/3はそれぞれの画素でブロックされてしまうため、画素に到達する光量としても著しく少なくなります。この影響は特に画像内の暗い部分に出ます。良好なコントラスト、高精度な判別が求められる場合には、プリズム分光式カメラが有利です。

      わずかな差異を検出し、測定したい場合
      ベイヤー補間処理で得られる画像には、輪郭や印字などの細部がにじんで「ぼやけ」が生じますが、プリズム分光式では補間処理は不要です。そのため、文字や小さな特徴を読み取り測定・解析することが必須とされる用途においては、優れた空間分解能が得られるプリズム分光式カメラが選択肢となるでしょう。

      全波長帯域で等しく正確なカラー情報が必要な場合
      カメラでも人間の目と同様、可視光をその波長によって長波長(赤系)、中波長(緑系)、短波長(青系)という3つの波長帯域に分け、情報として扱います。プリズム分光式カメラは、クロストークと呼ばれる波長帯域同士の重複がごくわずかしか生じません。クロストークが生じたエリアは正しい色値が得られませんから(偽色の発生)、これがほとんどない場合は全帯域に渡ってにごりのない鮮やかな色が保たれることになります。これに対してベイヤー式カメラで採用するカラーフィルタは重複がはるかに大きく、特にR/G/Bの間にある中間色でくすみやにごりが強くなります。

      カメラの設定をより柔軟に調整したい場合
      多板式のプリズム分光式カメラのほとんどは、3台のカメラを扱っているかのように、各センサの設定を個別に調整できます。ホワイトバランスの調整や色強調をはじめ、ベイヤー式カメラでは利用できない機能を備えているため、セッティングを非常に柔軟に行うことができます。

      Whitepaper Prism Technology 250X285
      マシンビジョンのカラー画像処理の重要なポイントを解説しております。 ホワイトペーパーをダウンロード
Chapter 4 カラーラインスキャンカメラ

カラーラインスキャンカメラ

カラーラインスキャンカメラの性能が必要だと判断した場合、マシンビジョンシステムに導入するカメラタイプを検討する第一歩として、まずは2つの選択肢が挙げられるでしょう。トライリニア式カメラとプリズム分光式カメラです。

  • トライリニア式ラインスキャンカメラ

    トライリニア式カメラは、3本の画像処理ラインを使用してRGB画像を撮像します。かつては、3つのラインセンサを可能な限り近接させて組み付けていましたが、今日の新世代カメラのほとんどは3本の画素ラインが近接して配置されているシングルセンサ方式です。

    Tri Linear Principle2
    トライリニア式カメラは、R,G,Bのフィルタを備えた3列の隣接したラインセンサで撮像します。露光タイミングはターゲットの動きと同期して、3列のラインセンサすべてがターゲット上の同じ点を撮像します。

    各ラインの画素上には、三原色(R/G/B)のうち1色を捉えるポリマーカラーフィルタが配置されています。カメラを被写体の動きと同期させることで、各ラインが被写体の同一ポイント上を通過する際に撮像される画像を組み合わせて、ターゲットライン上の各画素のRGB値を取得するのです。

    • トライリニア式カメラを選択すべきケース

      カメラの価格が重要な判断基準である場合
      現在ではほとんどのトライリニア式カメラがマルチラインのシングルセンサを採用していることから、プリズム分光式のラインカメラより低価格です。加えて、プリズム分光式カメラに必要な推奨専用レンズにかかるコストも削減できます。これにより、同グレードのプリズム分光式カメラと比べて設備投資を50%程度抑えることが可能です。ただし、より明るい照明が必要になったり、プリズムフィルタと比べてポリマーフィルタの劣化が早いなどの要因から、システムの耐用期間全体のコストでみると、あまり違いがないかもしれません。

      高速の画像処理が必要な場合
      トライリニア式のカメラは、精度の高い(補間処理しない)RGB画像データを高速ラインレートで提供できることで知られています。最新の4K対応モデル(ラインごとに4,096画素)は、50~70 kHz、つまり5万~7万ライン/秒の速さで動作します。ただし、これまでプリズム分光式カメラは同グレードのトライリニア式カメラに比べてラインレートが劣っていましたが、最近は、最速のトライリニア式カメラとほぼ同じ速さで撮像できます。

      被写体に対してほぼ垂直に位置調整できる場合
      トライリニア式カメラが被写体に対して傾いた位置に設置されている場合、被写体から3本のセンサラインまでの距離がそれぞれ異なるため、各ラインでカバーする長さがわずかに変わります。傾きが小さければカメラの機能で補正することができますが、大きい場合は画像の中にカラーフリンジ(ハロー効果)やその他のアーチファクトが生じる可能性があります。トライリニア式カメラが最大限その性能を発揮するのは、被写体に対する角度がほぼ垂直で、設置位置を頻繁に調整しなくてよい場合です。

      対象物が平らで、起伏がほとんどない場合
      3本それぞれのラインで得たピクセル情報を組み合わせて完全なRGB情報を生成するトライリニア式では、3本のラインは近接しているものの、わずかに異なる位置で撮像されます。したがって被写体が波打っているなど表面に起伏がある場合、撮像時あるラインに対しては被写体が近くなり、また他のラインに対しては被写体が遠くなるという状態が発生し、これが原因となり画素がオフセットされ、やはりハロー効果が生じてしまいます。同様に、コンベヤを流れる過程でぐらついたり転がったりする場合やばらつきのある対象物の場合では、撮像される3本のラインの不整合の原因になります。平らで変動が小さい対象物の撮像には、トライリニア式カメラが最適です。

      4Kを超える解像度が要求される場合
      今日のプリズム分光式ラインスキャンカメラの最大解像度は、4Kです。ラインスキャンシステムで8Kまたは16Kのライン解像度が必要となる場合は、トライリニア式が唯一の選択肢です。

      低消費電力で小型軽量のカメラが要求される場合
      プリズムと複数のセンサが内蔵されているプリズム分光式のカメラより、トライリニア式カメラの方が一般的に小型です。さらに、プリズム分光式カメラは大型で3枚のセンサを個別に制御することから必然的に重くなり、消費電力も大きくなります。

  • 多板式のプリズム分光式ラインスキャンカメラ

    プリズム分光式のラインスキャンカメラはトライリニア式同様3本のラインでRGB情報を取り込みますが、異なるのは3つのラインセンサを使用する点です。3つのセンサはプリズムに取り付けられ、単一の光軸を捉えることができます。つまり、トライリニア式カメラのように3ラインを順次取り込むのではなく、3つのセンサが被写体上の同一のラインを同時に取り込むことができるのです。プリズムに施されたダイクロイックコーティングによりR/G/B各帯域に分離された入射光は、3つのセンサで個別に受光されるため、ライン上の画素ごとにきわめて正確なRGB値が取り込まれます。

    Sw 4000 T 10 Ge Front
    プリズム式ラインスキャンカメラでは、R,G,Bの3つのラインセンサが、プリズムを通して同じターゲットライン(光軸)上に配置されている為、複雑な同期処理を行うことなく撮像を行うことができます。
    • 多板式のプリズム分光式カメラを選択すべきケース

      最高水準の色再現性が要求される場合
      R/G/B各波長へ分離するために使用されるダイクロイックプリズムコーティングは、トライリニア式カメラのポリマーフィルタに比べるとより正確に光を分離することができます。そのため、カラーチャネル間のクロストークが軽減され、特にスペクトル帯が重複する領域において色再現性は大きく向上します。

      傾けてカメラを設置しなければならない場合、またはコンベヤの搬送速度が変動する場合
      トライリニア式のカメラの場合、傾けて設置するとライン同士の位置のずれでハローが発生したり、またコンベヤの搬送速度が可変するとラインごとの露光の同期が難しくなるなど問題が生じる可能性があります。一方プリズム分光式カメラは単一光軸のため、1本のラインを撮像し内部でラインを分離します。したがって、被写体に対して相対的に傾斜した位置にある場合でも被写体との距離は単一で、傾斜によって各ラインの長さに違い(キーストーン効果)が生じるトライリニア式カメラとは対照的です。同様に、プリズム分光式カメラはR/G/B各ラインの情報を同時に取り込むため、トライリニア式カメラとは異なり、速度の変動が小さければ取り込まれるカラーデータの品質に影響はありません。

      被写体表面が波打っている場合や被写体の向きが変化する場合
      トライリニア式カメラでは、ロール状やシート状の紙の小さなうねりが大きな問題を引き起こす可能性があります。うねりによって、3本のラインそれぞれでの被写体の見え方が変化して、画素オフセットやカラーフリンジが生じるためです。また、3次元の対象物が転がったり、わずかに動いたりしている場合も、同様の現象が生じます。この場合は、トライリニア式カメラの3本のラインそれぞれで対象物の向きがわずかに変化するからです。プリズム分光式のラインスキャンカメラは光軸が単一で、各センサの個々の画素が焦点を合わせるポイントは常に同じになるため、対象物の起伏や動き、回転にかかわらず鮮明な画像を確実に取得でき、このような問題は回避できます。

      ホワイトバランスや色補正をより細かく設定したい場合
      プリズム分光式のカメラでは、3枚のラインスキャンセンサそれぞれの露光を個別に調整できます。トライリニア式カメラのようにホワイトバランスをゲインで調整する必要はなく、露光で調整することが可能なため、低照度では非常に有利です。ノイズを極限まで抑えることが求められる用途の場合、高感度であり、なおかつ露光でホワイトバランスを調整できるプリズム分光式カメラは、とてもよい選択肢でしょう。

      長く安定動作させたい場合
      ダイクロイックプリズムコーティングは、トライリニア式のポリマーフィルタよりも光透過率が高いなど、長期にわたる安定性の面でも優れています。光透過率が高いため、プリズム分光式のシステムでは、低照度の光源(多くの場合低コストです)を利用しても良好な露光を得ることができます。トライリニア式のシステムで同レベルの露光を得るには、多くの場合より高照度の照明が必要になります。コストの増大につながるだけでなく、カメラのカラーフィルタの劣化が早まる一因にもなります。

      印刷検査、食品検査、その他マシンビジョンシステムなどのカラーラインスキャンカメラのアプリケーションにおいて、プリズム式ラインスキャンカメラがトライリニア式カメラを上回る重要な利点について説明します。(英語)
      Whitepaper Line Scan Prism 250X285
Chapter 5 カラーマシンビジョンシステムを開発する上での検討項目

カラーマシンビジョンシステムを開発する上での検討項目

貴社の装置用途に適したカラーカメラがどれなのかは、さまざまな要素によって決まります。用途に即したカラーマシンビジョンシステムを開発するには、それらの要素をすべて考慮しなければなりません。ここでは、カラーマシンビジョンシステムの開発にあたって、カメラ部分で検討すべき課題をさらにいくつか説明します。

  • 色再現性と色の判別

    最初の検討事項は、貴社の装置用途が求める色の再現レベルと、それによる色の判別性能です。用途によっては、検出された色値がターゲット値からどの程度乖離しているかをマシンビジョンカメラで判別できることが不可欠になります。このような分野でマシンビジョンが高い精度を要求される場合、より高度なカメラが必要になります。

    前述のとおり、色再現性と色の判別をを高い水準に引き上げようとした際に最大の障害として立ちはだかるのは、補間処理と感度が低いという2つの問題です。補間処理では、周囲の画素の平均値を計算して各画素の色値を特定するため、場合によっては色値検出の過程で微妙なばらつきが生じます。そのためマシンビジョンシステムで色の微妙な差異を判別しようとする場合、実際に色合いが違うのか、ベイヤー補間処理に伴うばらつきによるものなのか、判断しかねることがあります。

  • カラークロストーク

    カラークロストークが顕著に現われている場合、マシンビジョンカメラで得られる色値の精度が影響を受けます。顕著なクロストークが生じる原因は、ベイヤーカラーフィルタまたはダイクロイックプリズムコーティングによって定義されるRed、Blue、Greenの分光感度に、著しい重複があることです。チャネル間の重複が大きいと、特定の色系統、特に黄系と茶系では偽色の発生が多く、検出される色値の精度が落ちます。

    Cross Talk Prism Vs Bayer
    プリズム式カメラで使用されているダイクロイックコーティングは、カラークロストークによる不正確性を最小限に抑える為に、ベイヤーフィルタよりも急峻なスペクトル曲線を生成します。

    このような系統の色合いをマシンビジョンシステムで判別する場合は大きな問題となる可能性があります。したがって、カラーマシンビジョンシステムを設計する際は、解析に不可欠な色の系統と、それが属する帯域で許容できるカラークロストークのレベルを検討することが重要です。

  • 光量レベルと感度

    用途によって、開発するマシンビジョン装置に必要な感度を見極めることも大事です。ベイヤー式、トライリニア式、プリズム分光式のカメラでは、センサに到達するまでの光透過性がそれぞれ異なるため、感度に差があります。

    例えばベイヤーフィルタは、光学プリズムに使われるガラスよりも光透過率の低い素材で製造されているだけでなく、ベイヤーモザイクパターンで配列された各画素はR/G/Bいずれかの光、つまり全波長帯域のおよそ1/3しか受けません。画素や色によっては、フィルタが受けた光量の5割以上がセンサに到達していない場合もあります。

    必要な光量レベル、そして許容可能なゲインとノイズのレベルに基づいて検討すると、用途に応じた最適なカメラを選択することができるでしょう。

    Light Bayer Vs Prism 1
    ベイヤー式カメラでは、各画素の上にあるフィルタが2/3のスペクトル波長をブロックするため、正確な色情報として取り込む光の量が大幅に減少します。プリズム式カメラでは、各画素における光を3つ分光しR,G,B用の3つのセンサで撮像することにより、100%の光を捕捉します。
  • ホワイトバランスの調整とノイズ

    ホワイトバランスの調整は、カラー情報を利用するあらゆるマシンビジョンアプリケーションで必須となります。システムで使用される照明のスペクトルに合わせてベースラインを入念に調整していない場合は、実際の色値を正確に捕捉する手段はありません。ホワイトバランスは、選択するマシンビジョンカメラのタイプに応じてさまざまな方法で調整できます。

    例えば、ベイヤー式やトライリニア式のカメラでは、R/G/B各チャネルのうち一番感度が得られるチャネルに合わせて、その他の2チャネルのゲイン(増幅)を上げてホワイトバランス調整を行うのが唯一の方法です。ただし、ゲインを上げると、チャネル信号だけでなくノイズも増加します。低照度条件下のため全体でゲインを上げる必要がある時は、さらにノイズレベルも上がってしまいます。低ノイズが要件となる場合は、光量を増やすか、または別のタイプのカメラに切り替えることで対処する必要があります。

    一方プリズム分光式のカメラでは、ゲインとシャッタ速度を各センサで個別に調整することができます。したがってホワイトバランスをシャッタ速度によって調整することも選択肢に入るため、基準とするチャンネル(センサ)の信号レベルに対してその他の2チャネルの露光時間を長くする、もしくは短くすることでホワイトバランスを調整する方法も取ることが出来るのです。露光時間が長くなるとノイズがわずかに増える可能性もありますが、ゲインを適用した場合と比べてはるかに小さいものです。ノイズを低減できる点は、用途によってはプリズム分光式カメラを選択する大きな理由になります。

    Gain Adjustment 1
    カラーカメラでは、照明の種類や色温度による変色を防ぐために、あらかじめホワイトバランスを調整する必要があります。一般的なゲイン設定によるホワイトバランス調整では、画像ノイズが増えてしまいます。プリズム式カメラでは、露光時間設定によるホワイトバランス調整が可能で、画像ノイズへの影響を限りなく小さくすることができます。
  • カラーアーチファクト

    カラーアーチファクトとはいわば画像の欠陥部分であり、多くの場合、被写体とは異なる色の画素や、一定のパターンとして現われます。発生の原因は、画像のカラー情報の生成方法にあり、色の計算に推定や補間処理を利用しているカメラでは、カラーアーチファクトがきわめて現われやすくなります。

    ただし、R、G、Bの値が個別に生成される(補間処理が不要な)トライリニア式のカメラであっても、キーストーン効果や凹凸のある表面、わずかなタイミングの差に起因する空間オフセットによって、カラーアーチファクトが現われる可能性があります。プリズム分光式のカメラは、3枚のセンサを搭載し、単一光軸を使用して画像を捉えるため、カラーアーチファクトが現われる可能性はきわめて低くなります。ごく一般的なカラーアーチファクトには、以下のタイプがあります。

    • カラーエイリアシング

      カラーエイリアシングとは、被写体中の線や輪郭、多くは濃い青などの場合ですが、そのような線や輪郭が別の色、偽色となって現れることです。例えば、画像を画素が見えるまで拡大して見てみると、輪郭に沿った画素が赤みや黄みを帯びたりしています。

      この問題が生じやすいのは、ベイヤー式のカメラです。各画素にRGB値を割り当てるために使用される補間演算によって、線や輪郭自体の色とはまったく異なる色の周囲の画素が混合して利用されるからです。

      Schermafbeelding 2018 11 30 Om 16 03 08
      カラーエイリアシングは、補間によってラインとエッジに沿って誤った色の画素が生成されたときに発生します。
    • モアレパターン

      画像に細かい繰り返しパターンが含まれている場合、エイリアシングが広範囲に渡ると、輪郭や線を取り込む際に生じた偽色はモアレパターンとなって現れることがあります。この現象は、高い空間周波数を捉える必要のあるすべてのカメラで起きる可能性がありますが、ベイヤー式カメラでは、補間技術が原因となり、きわめて生じやすくなります。

      Schermafbeelding 2018 11 30 Om 16 04 47
      ベイヤー式カメラにおいては、カラーエイリアシングが繰り返される領域において、偽色がパターン(モアレ)となって現れることがあります。
  • 解像度への影響

    カラーマシンビジョンシステムでは、モノクロシステムの場合と比べて、必要な解像度を決める際に細心の注意が必要です。その理由は、ベイヤー補間などのカラー技術によって、カメラの実質的な解像度が大幅に低下することにあるからです。ベイヤー式カメラの解像度が500万画素である場合でも、補間のプロセスによって細部の情報の多くが「平均化」され、実質的な解像度は総画素数の1/3から1/2になります。

    貴社の装置用途で検出または解析しなければならない対象物の最小サイズと、カバーする必要のある視野の範囲(FOV=Field Of View)に応じて、2つの方向性が考えられます。

  1. 同様のモノクロシステムで考慮する場合よりも高画素のベイヤー式カメラを選択する。当然ながら、価格は高くなり、より高価な光学部品が必要になる上、ホストコンピュータの処理負荷が増大します。

  2. モノクロシステムで考慮する場合とほぼ同じ画素数を備えたプリズム分光式のカメラを選択する。
    320万画素のプリズム分光式カメラには、3枚の画像センサが搭載されていますので、実際には320万画素カメラが3台、合計960万画素に匹敵します。したがって、ベイヤー式カメラのような空間解像度の低下を伴うことなく、24bit、320万画素の出力画像を生成できます。前述のとおり、プリズム分光式カメラはベイヤー式カメラと比べて高価格です。しかしながら、900万画素のベイヤー式カメラを使用することによって発生するすべてのコストを総合的に比較すると、その差はほとんど無い場合もあるでしょう。

  • 上記の情報は、エリアスキャンの解像度に限られます。ラインスキャンシステムの場合、トライリニア式とプリズム分光式は補間処理を利用しないため、どちらの方式であっても、有効解像度に大幅な低下はありません。ただし、ラインスキャンカメラの項で取り上げたいくつかの課題が原因となり、トライリニア式カメラでも微細な部分の判別に影響が生じる可能性があり、それは光軸面が単一のプリズム分光式カメラも同様にリスクが存在します。

  • 色空間と色空間変換機能

    マシンビジョンシステムを開発する場合、貴社の装置用途に最適な色空間を決める必要があります。的確な色空間は、その装置で何を実行するのか、カラー情報をどのように解析するのかによって異なります。

    例えば、単に対象物を画面に表示するアプリケーションの場合、すべてのモニターは標準のRGB色空間を使用して画素の色を構成しているため、必然的に標準RGB色空間を使用することになります。一方、印刷物を取り扱う場合は、Adobe RGBのように、デジタル印刷向けに調整され、色の範囲が拡張された色空間のほうが適切な選択肢となります。

    HSI(色相、彩度、輝度)、CIE XYZやCIE L*a*b*など、その他の色空間では、特定のアプリケーションにおいて、角度と方向の両方で色合わせと色の分散を計算しやすいように、数学的座標を使用して色を記述します。

    ほとんどのアプリケーションは、ホストコンピュータ上の画像処理ソフトウェアを使用して、カメラから出力されるRGBデータをアプリケーションに最適な色空間へと変換します。ただし、この変換をカメラ内で実行してホストの負荷を減らし、処理リソースを他のタスクに集中させることが望ましい場合もあります。その場合、色空間変換の機能を内蔵したカメラが有効な選択肢となります。

  • 色強調と色の最適化

    いくつかのケースでは、色を意図的に変更するのが有効になる場合があります。その場合は、マシンビジョンシステムを開発する際に、色強調機能と最適化機能の導入を検討してみる価値があります。

    例えば、画像に含まれている特定の偏差を検出したり、2つの対象物を識別したりする場合は、画像に含まれている特定の色を強調すると効果的なことがあります。血液細胞を組織と識別するのであれば、画像に含まれている赤色を強調することで識別が容易になります。

    画像内の色の強調もまた、ホストコンピューター上の画像処理ソフトウェアを使用して実行できます。ただし、後処理での強調は、RAW画像の彩度やコントラストによって制限されることがあります。このため、やはりカメラに色強調機能を内蔵したモデルもあり、特定の原色または補色を200%まで強調できるタイプもあります。システム設計者は、このような機能が装置とその用途に付加価値をもたらすかどうか、そして自社と競合するシステムとの差別化を図る上で有効かどうかを検討すべきでしょう。

    Schermafbeelding 2018 11 30 Om 16 07 09
    色強調機能では、画像内の特定の色を強調することができます。

貴社の装置用途に最適なカメラが必ず見つかります。ぜひJAIにお手伝いさせてください。

JAIのプロダクトエンジニアがいつでもご相談を承ります。

お問合せはこちら
Jai Engineer Apac3
お使いのブラウザは古いバージョンです。

正しく表示させるにはブラウザをアップデートしてください。 今すぐブラウザをアップデートする

×