의료 및 산업용 머신 비전 시스템을 위한 멀티 스펙트럼 이미징

멀티 스펙트럼 이미징이란?

"멀티 스펙트럼"이라는 용어를 잘못 이해하거나 사용하는 경우가 많습니다. 그 이유는 물리학 교과서에 "멀티 스펙트럼"에 대한 명확한 정의가 없기 때문입니다. 문자 그대로의 의미는 2개 이상의 스펙트럼 대역으로 이미징하는 것입니다. 이렇게 정의하는 경우 RGB 카메라도 멀티 스펙트럼 이미징 범주에 속할 수 있습니다. 듀얼 밴드 RGB-NIR 카메라 역시 가시광선 및 NIR 스펙트럼 대역을 모두 포함한다는 의미에서 멀티 스펙트럼이 될 수 있습니다.

이미징 커뮤니티에는 2~15개의 대역을 사용하는 이미징의 경우 멀티 스펙트럼에 해당한다는 암묵적인 이해가 있습니다. 이에 더해 이미징 산업의 몇몇 기업에서는 멀티 스펙트럼의 개념을 최대 25개의 파장 대역을 사용하는 시스템으로까지 확장하고 있습니다. 이와 같이 다소 모호한 상황에도 불구하고 과학 문헌에 명확히 정의된 한 가지 사항이 있습니다. 멀티 스펙트럼 이미징은 따로따로 배치된 스펙트럼 대역으로 구성될 수 있다는 점입니다. 대역이 연속적일 필요가 없습니다.

예를 들어, 멀티 스펙트럼 이미징 시스템은 가시 스펙트럼 내에 따로따로 위치한 2개의 스펙트럼 파장 대역(예: 첫 번째 대역은 청색 영역 두 번째는 적색 영역)과 NIR 영역의 세 번째 대역, SWIR 영역의 네 번째 대역을 지원할 수 있습니다. 따라서 멀티 스펙트럼 이미징은 정의된 스펙트럼 영역 내의 선택된 위치에 있는 일부 타겟 파장을 사용합니다.

이 특성을 통해 멀티 스펙트럼 이미징과 하이퍼 스펙트럼 이미징을 가장 명확하게 구별할 수 있습니다. 이 두 용어는 종종 모호하고 부정확하게 혼용됩니다. 하이퍼 스펙트럼 이미징 기술은 연속적이고 분리되지 않은 파장 영역을 사용합니다(예: 1nm 단위로 증가하는 400-1100nm 영역). 따라서 두 이미징(멀티 스펙트럼 및 하이퍼 스펙트럼) 사이에는 명확하게 정의된 차이점이 있습니다.

멀티 스펙트럼 이미징 애플리케이션

멀티 스펙트럼 이미징은 머신 비전 카메라를 사용하는 농업, 의료 및 기타 산업 애플리케이션과 같은 여러 애플리케이션의 검사 기능을 향상시킵니다. 세계 인구가 증가하고 천연자원의 부족이 예고됨에 따라 효율적으로 품질을 관리할 수 있는 농업 생산이 시급해졌습니다.

현재 대부분의 농부들은 작물의 성장과 품질을 관리하기 위한 평가 방법으로 비주얼 검사를 사용합니다. 그러나 인간의 눈을 통해 평가하는 것은 제한적이고 주관적입니다. 인간의 눈이나 기존 RGB 컬러 이미징보다 더 뛰어난 품질 평가 방식이 많이 존재합니다.

정밀 농업 전략 및 지능형 농업 방식이 도입된 농장은 멀티 스펙트럼 카메라를 사용하여 효율성을 높이고 인건비를 크게 절감하고 보다 정확한 결과를 얻을 수 있습니다. 멀티 스펙트럼 이미지는 토양 생산성을 평가하고 작물의 건강 상태를 분석하는 데 매우 효과적인 도구입니다. 육안으로 토양과 작물의 상태를 확인하는 것은 매우 제한적이고 보수적인 방식입니다. 멀티 스펙트럼 센서 기술을 통해 농부는 눈으로 보는 것 이상을 볼 수 있습니다.

농부는 멀티 스펙트럼 이미징을 활용하여 작물 수확량을 추정할 수 있으며 손상된 작물을 확인하여 작물 성장 관리에 필요한 수정을 할 수 있습니다. 잡초, 질병 및 해충을 조기에 발견하는 경우 작물 성장을 위한 기술과 자원을 최적화할 수 있어 이를 식별하기 위한 멀티 스펙트럼 이미징이 점점 더 많이 활용되고 있습니다. 또한 멀티 스펙트럼 이미징은 작물 수를 세고 농작물의 밀도를 결정하는 작업을 지원할 수 있습니다. 토양 비옥도에 대한 데이터 제공할 뿐만 아니라 작물 생산과 관련된 토지 관리에 엄청난 도움을 기대할 수 있습니다.

작물 성장과 관련된 지원 외에도 멀티 스펙트럼 이미징을 딥 러닝 및 인공 지능과 결합하면 농작물 관개를 제어 및 측정하고 가축을 모니터링하는 데 도움이 될 수 있습니다.

과일 및 채소 농산물 검사 시 멀티 스펙트럼 이미징을 통해 가시광선과 비가시광선 파장을 조합하면 외적 특징(예: 색상, 질감, 표면 손상, 모양 및 크기)과 내적 특징(예: 건조 물질 함량, 익은 정도, 수분 함량, 당분 및 지방 함량)을 동시에 측정 및 분석할 수 있습니다.

마찬가지로 육류 및 생선 검사의 경우 멀티 스펙트럼 이미징은 절단 부위, 지방 및 뼈 함량 분석, 피부 표면 손상 및 육류 색상 검사를 지원합니다.

멀티 스펙트럼 이미징은 의료 애플리케이션, 특히 외과 진료에 엄청난 가치를 더할 수 있습니다. 컬러 이미징과 NIR 대역을 결합하면 종양과 주변 조직을 찾고 구별하는 데 도움이 될 수 있습니다. 여러 가지 방법을 통해 멀티 스펙트럼을 셋업할 수 있지만 시스템 복잡성을 줄이는 효율적이고 가성비 높은 방법은 프리즘 기반 멀티 센서 카메라를 사용하는 것입니다.

내시경, 외과 이미징 애플리케이션의 경우 서로 다른 파장대의 2개 또는 3개의 이미지를 동시에 캡처할 수 있습니다. 이러한 이미지는 비가시 NIR 채널의 요소를 가시 RGB 이미지에 오버레이하여 외과의에게 수술 중인 조직이나 혈관의 "강화된" 이미지를 제공할 수 있도록 "융합"됩니다.

멀티 스펙트럼 이미징은 과립부터 정제 스트립의 충전 및 밀봉에 이르기까지 제약 정제 제조 및 포장에도 도움이 될 수 있습니다. RGB 컬러와 NIR 파장을 결합하면 패키지와 블리스터의 표면 검사가 가능할 뿐만 아니라 블리스터 팩 내부 이미징에도 도움이 됩니다. 이를 통해 패키지에 있는 여러 개별 정제를 동시에 식별, 계수 및 품질 분석할 수 있습니다.

PCB 검사와 같은 산업 애플리케이션에서 RGB 및 NIR 파장대를 동시에 이미징하면 커패시터, 트랜지스터 및 기타 부품과 같은 표면 부품의 검사뿐 아니라 표면 아래의 구리 또는 금 전도선을 검사하는 데도 많은 도움이 됩니다. 특히 전자 장치를 재활용하는 경우 귀금속 및 부품의 정밀 검사는 매우 유용합니다.

섬유 및 인쇄 검사에서 멀티 스펙트럼 카메라는 정확한 색상을 재현하고 측정하는 데 도움이 될 수 있습니다. 샘플의 색상을 정확하게 일치시킬 수 있으며 가죽, 비닐, 플라스틱, 실, 금속 및 폴리에스터와 같은 다양한 의류 소재를 정확하게 식별할 수 있습니다.

일반적으로 멀티 스펙트럼 이미징은 가시 스펙트럼 내의 서로 분리된 파장대가 필요하거나 가시 스펙트럼에서 NIR 대역 또는 SWIR로의 확장이 필요한 모든 애플리케이션에서 활용될 수 있습니다.

멀티 스펙트럼 카메라 기술

최초의 멀티 스펙트럼 시스템은 우주에서 과학적 이미징을 위해 사용되거나 문화유산의 예술 작품이나 유물을 분석하고 디지털화하기 위해 사용되었습니다. 1972년에 발사된 최초의 LANDSAT 1 위성에는 녹색 및 적색 가시광선 채널과 2개의 NIR 파장대를 지원하는 4대역 멀티 스펙트럼 이미징 시스템이 장착되었습니다.

1999년에 LANDSAT 7이 발사될 당시에는 시스템이 청색 가시광선부터 열적외선까지로 확장된 8개의 멀티 스펙트럼 파장대를 지원할 수 있게 되었습니다. 이러한 멀티 스펙트럼 위성은 해안 및 해류 관찰에서 식생 분석, 건조 스트레스, 화재 피해/소실 지역, 심지어 구름 패턴에 이르기까지 농업 및 환경 분석을 위해 주로 사용되고 있습니다. 이러한 위성은 광학 장치부터 사용되는 센서에 이르기까지 매우 정교하고 값비싼 시스템입니다.

유사하게, 첨단 멀티 스펙트럼 스틸 카메라는 예술 및 고고학 애플리케이션에서 수년 동안 사용되어 왔습니다. 이러한 카메라는 최대 18개의 멀티 스펙트럼 파장대를 사용하여 예술 작품의 안료 및 수정 작업을 매핑하고 잠정적으로 식별합니다. 또한 이미지는 오래되고 색이 바랜 문서와 유물을 디지털화하거나 시각적으로 개선하기 위해 사용됩니다. 관리자는 멀티 스펙트럼 이미징을 사용하여 원본 섹션을 인페인팅과 구별하고 적합한 보존 절차를 선택할 수 있습니다.

시간이 지남에 따라 푸리에 변환 분광법, 액정 조절 필터, 광대역 및 협대역 필터 등을 기반으로 하는 다양한 유형의 멀티 스펙트럼 시스템이 개발되었습니다. 다양한 접근 방식이 개선됨에 따라 이러한 시스템은 최첨단 위성 및 예술 보존 시스템에서 다양한 멀티 스펙트럼 애플리케이션에서 활용 가능한 해상도, 프레임 속도 및 가격의 조합을 제공하는 머신 비전 카메라로 이전되었습니다. 본 기술 가이드에서는 머신 비전 애플리케이션에서 점점 더 많이 사용되고 있는 이러한 카메라 기반 멀티 스펙트럼 이미징 기술을 중점적으로 설명하려고 합니다.

멀티 스펙트럼 이미징을 위한 에어리어 스캔 및 라인 스캔 비교

설명된 멀티 스펙트럼 이미징 방법 중 고속 산업 애플리케이션에서 사용할 수 있는 방법은 극소수에 불과합니다. 에어리어 스캔의 경우 제조된 대량 생산 제품을 고속으로 검사하는 작업에는 멀티 센서 프리즘 기반 접근 방식이 매우 적합합니다. 픽셀화된 멀티 스펙트럼 픽셀 어레이(스냅샷 모자이크)와 필터 휠 기반 접근 방식과 같은 기타 에어리어 스캔 방식은 산업용 이미징을 지원하기에 너무 느립니다. 또한 스냅샷 모자이크 카메라를 사용하여 공간 해상도를 지원하거나 픽셀 정보를 재구성하는 것은 매우 어렵습니다.

필터 휠 기반 카메라는 부피가 크며 다수의 움직이는 부품으로 구성되어 있어 접근 방식의 견고성이 떨어집니다. 그럼에도 불구하고 스냅샷 모자이크 및 필터 휠 접근 방식은 멀티 센서 프리즘 기반 접근 방식에 비해 더 많은 수의 스펙트럼 파장대를 제공할 수 있습니다. 스냅샷 모자이크는 높은 공간 정확도가 필요하지 않은 농업, 지능형 농업 및 의료 이미징 애플리케이션에 적합합니다. 필터 휠 기반 카메라는 오래된 그림과 고전 예술 작품을 디지털화하는 작업에 특히 적합합니다. 멀티 센서 프리즘 기반 카메라는 정밀 농업, 지능형 농업 및 과일, 야채, 육류, 해산물과 같은 농수산품 및 식품, 제약 포장, 전자 제품 및 인쇄 회로 기판과 같은 산업 제품의 인라인 검사에 적합합니다.

라인 스캔 카메라를 사용한 멀티 스펙트럼 이미징에는 2가지 주요 접근 방식이 있습니다. 첫 번째는 하이퍼 스펙트럼 접근 방식(225개 스펙트럼 대역)에서 멀티 스펙트럼 접근 방식(6.5kHz 라인 속도로 5개 스펙트럼 대역 지원)으로 축소할 수 있는 푸시브룸 하이퍼 스펙트럼 센서를 사용하는 접근 방식으로 식품, 재활용, 포장 제품 검사와 같은 중간 속도의 산업 애플리케이션에서 활용할 수 있습니다.

멀티 센서 프리즘 기반 라인 센서 접근 방식은 초고속(4K 픽셀에서 최대 77kHz)으로 최대 4개의 스펙트럼 대역 조합의 가시광선 및 NIR 대역 동시 이미징이 가능합니다. 빠른 속도를 지원하는 이 접근 방식은 벨트, 차선 또는 자유낙하 분류를 기반으로 하는 모든 고속 애플리케이션에 사용할 수 있습니다.

광학 필터가 탑재된 표준 3라인 라인 센서를 사용하여 수평 라인 해상도를 줄이고 6~12개 채널을 지원하는 세 번째 접근 방식은 수년간 인쇄, 식품, 세라믹, 섬유 검사에 진출하고자 노력했지만 복잡한 보정 절차, 낮은 정확도 및 사용하기 어려운 API로 인해 성공하지 못했습니다.

멀티 스펙트럼 이미징을 위한 카메라 기술 선택 시 중점적으로 고려해야 할 사항

셋업 용이성(시스템 통합): 멀티 스펙트럼 이미징을 사용하는 것은 표준 머신 비전 카메라를 사용하는 것보다 훨씬 더 복잡합니다. 멀티 스펙트럼 이미징 시스템의 다양한 구성 요소를 셋업하고 통합하기 위해서는 카메라뿐만 아니라 광원과 관련된 보정 절차, 검사 대상의 특성, 데이터 처리 및 이미지 데이터 수정 시 발생하는 병목 현상에 대한 우수한 노하우를 갖추는 것이 중요합니다. 전체 시스템 통합은 하이퍼 스펙트럼 시스템보다 간단할 수 있지만 이는 실제로 사용자가 멀티 스펙트럼 이미징 시스템을 통해 이루고자 하는 목표에 따라 달라집니다.

속도 및 해상도: 산업 검사 과정에는 높은 처리량이 요구됩니다. 멀티 스펙트럼 시스템의 판독 아키텍처 및 구조는 많은 경우 속도가 제한적입니다. 속도는 파장 채널 수, 사용된 멀티 스펙트럼 기술 유형 및 인터페이스에 따라 달라집니다. 스펙트럼 대역의 수가 많아질수록 고속 애플리케이션에 필요한 광량을 캡처하기가 어려워집니다. 멀티 스펙트럼 이미징의 공간 해상도는 특히 작은 개체를 검사할 때 문제가 될 수 있습니다. 스냅샷 모자이크 센서를 기반으로 하는 카메라는 보간을 사용하여 개별 픽셀 값에서 누락된 공간 정보를 추정하게 됩니다. 그러나 이 방식으로 작은 결함 크기를 검사할 경우 정확도가 그리 높지 않습니다. 각 애플리케이션에 따라 멀티 스펙트럼 채널 수와 속도 및 해상도 간의 조율이 필요할 수 있습니다.

스펙트럼 파장 수: 애플리케이션에 필요한 스펙트럼 파장대의 수는 검사 대상의 특성, 필요한 검사 정확도, 추가 스펙트럼 추정 기술을 통해 이미지 처리 시 지원할 수 있는 정확도에 따라 달라집니다. 적색 엣지 감지 또는 NDVI 분석과 같은 일부 애플리케이션의 경우 식물에서 원하는 데이터를 캡처하기 위해서는 적색 및 NIR 영역의 어떤 대역이 필요한지 명확하게 알려져 있습니다. 이는 스펙트럼 데이터가 잘 알려진 플라스틱 및 유기 재료의 경우에도 마찬가지입니다. 또 다른 예시로는 ICG 흡수 및 형광 방출 대역이 알려져 있는 형광 내시경이 있습니다. 이런 경우 제한된 대역 수를 초과하지 않아도 됩니다. 그러나 서로 다른 재료가 혼합된 검사 애플리케이션, 특정 파장 대역을 정확하게 식별하기 위해 멀티 스펙트럼 대역이 필요한 애플리케이션 또는 멀티 스펙트럼 이미징을 기반으로 하는 스펙트럼 컬러 측정 애플리케이션의 경우 상대적으로 더 많은 수의 스펙트럼 파장대가 필요합니다.

멀티 스펙트럼 데이터 큐브 및 데이터 스트리밍 처리: 멀티 스펙트럼 이미징의 과제 중 하나는 멀티 스펙트럼 데이터 큐브를 처리하는 것입니다. 픽셀당 수백 개의 스펙트럼을 처리해야 하는 하이퍼 스펙트럼 데이터 큐브보다는 훨씬 덜 복잡하지만 기존 RGB 카메라 시스템을 처리하는 것보다는 더 복잡합니다. 시스템 아키텍처에는 멀티 스펙트럼 데이터를 올바르게 처리, 필터링 및 해석할 수 있는 기능이 탑재되어야 하며 스펙트럼 채널의 수가 적을수록 덜 복잡해집니다. 두 번째 문제는 카메라에서 처리 스테이션으로 데이터를 스트리밍하는 데 사용되는 방법에서 발생할 수 있습니다. 멀티 스트리밍은 개별 데이터 스트림을 독립적으로 제어할 수 있다는 장점이 있지만 애플리케이션 소프트웨어에서 이를 관리하는 것은 문제가 됩니다. 멀티 스트림을 다루기 위해서는 동시에 2개 이상의 스트림을 처리할 수 있는 소프트웨어 아키텍처가 필요합니다. 싱글 스트림 전용으로 설계된 소프트웨어는 장치가 동시에 사용 가능한 싱글 프레임 또는 멀티파트 페이로드를 보낼 것으로 예상합니다. 따라서 사용자는 싱글 프레임과 멀티파트 페이로드에 대해 싱글 함수를 호출할 수 있으며 1개 스트림에서 이미지를 가져올 수 있습니다. 그러나 JAI의 eBUS Player와 같은 일부 플랫폼의 경우 읽기 전용 모드에서 카메라 장치를 2번 또는 3번 열 수 있으며 멀티 데이터 스트림을 지원할 수 있습니다.

시스템 비용: 의사 결정 시 비용은 언제나 중요한 요소입니다. 컴팩트하고 사용자 친화적이며 대량 생산되는 카메라는 고도로 전문화되고 부피가 큰 시스템보다 비용이 저렴합니다. 또한 비용은 수행해야 하는 검사 작업에 따라 달라집니다. 식품 및 농업 검사와 같이 최종 소비자나 최종 소비자 중심에 가까운 애플리케이션의 경우 연구, 하이테크 또는 과학 이미징 애플리케이션보다 가격에 민감합니다. 현재 첨단 하이퍼 스펙트럼 이미징 시스템의 가격대는 카메라 시스템당 약 EUR 20,000부터 시작합니다. 대량 생산되는 멀티 스펙트럼 카메라가 산업 경쟁력을 갖추기 위해서는 EUR 10,000 이하의 가격대로 제공할 수 있어야 합니다. 멀티 카메라를 기반으로 하는 멀티 스펙트럼 카메라는 멀티 센서 프리즘 기반 카메라 또는 멀티 스펙트럼 어레이 기반 카메라 등의 방식보다 비용이 높습니다. 최종 결정에서 비용 고려할 경우 멀티 스펙트럼 이미징이 기존 이미징 문제를 해결하거나 단순화할 수 있다는 점을 염두에 두어야 합니다.

하이퍼 스펙트럼 및 멀티 스펙트럼 이미징의 미래

물체의 스펙트럼 풋프린트(footprint)를 측정하기 위해 사용되는 기존의 분광계는 수십 년에 걸쳐 시도되고 테스트되었습니다. 이 장치는 매우 정확하지만 더 넓은 시야를 제공하지 않으며 최근 몇 년 동안 포인트 측정 기술은 큰 추진력을 얻지 못했습니다.

카메라 기반 이미징 기술은 스펙트럼 이미징의 미래입니다. 그러나 하이퍼 스펙트럼 이미징이 이미징 및 이미지 처리의 모든 영역에서 엄청난 잠재력을 제공한다는 것은 잘 알려진 사실입니다. 스펙트럼 이미징 또는 스펙트럼 분석이 모든 재료의 궁극적인 물리적 풋프린트이기 때문입니다. 이러한 스펙트럼 풋프린트를 식별하기 위해 하이퍼 스펙트럼 이미징 기술은 계속 성장할 것입니다. 실제로 우주 및 위성 이미징에서 시작해 많은 머신 비전 애플리케이션에 사용할 수 있게 되기까지 상당한 발전을 이루어냈습니다. 이 기술은 실험실 및 연구 애플리케이션에 엄청난 영향을 미치고 있습니다. 그러나 상당한 잠재력에도 불구하고 산업 애플리케이션에서는 많은 혁신을 이루어내지 못했습니다. 하이퍼 스펙트럼 이미징은 일부 산업 이미징 분야에서 활용되고 있으며 이 기술의 가능성을 둘러싼 많은 관심들이 존재합니다. 그러나 Chapter 4에서 설명한 것과 같이 여전히 매우 복잡하고 비용이 많이 들며 대부분의 산업 검사 애플리케이션을 지원하기에는 기술적으로 무리가 있습니다.

비즈니스 관점에서 볼 때 기업은 틈새 기술을 구현하는 것을 원하지만 동시에 큰 시장 점유율을 확보하기 위해 시장에 낮은 가격으로 제공하기를 원합니다. 이는 현재의 하이퍼 스펙트럼 이미징으로는 불가능합니다. 현재 하이퍼 스펙트럼 이미징의 한계를 감안할 때, 멀티 스펙트럼 이미징은 높은 처리량, 고해상도, 높은 견고성, 경쟁력 있는 가격, 제한된 수의 스펙트럼 파장대를 기반으로 하는 사용 및 통합 용이성을 통해 산업화된 대량 생산 제품 검사를 위한 브릿지 기술 역할을 할 수 있습니다.

하이퍼 스펙트럼 이미징은 타겟 애플리케이션에 필요한 관련 파장 대역을 식별하는 핵심 기술로 사용될 수 있기 때문에 멀티 스펙트럼 이미징의 성공과 매우 밀접하게 연관되어 있습니다. 하이퍼 스펙트럼 이미징 기술은 매우 강력하지만 비용이 높으며 대부분의 산업, 농업 및 의료 애플리케이션에서는 이 기술이 제공하는 방대한 수의 스펙트럼 파장대가 필요하지 않습니다. 따라서 하이퍼 스펙트럼 분석을 통해 추출된 정보를 사용하여 고도로 타겟팅된 멀티 스펙트럼 카메라 시스템을 생성할 수 있는 높은 수준의 맞춤화 기능을 지원하는 멀티 스펙트럼 접근 방식이 필요합니다. 필터 휠은 이러한 맞춤화 기능을 제공하는 한 가지 수단이 될 수 있지만 머지않아 모듈식 프리즘 기반 접근 방식이 멀티 스펙트럼 이미징(에어리어 스캔 및 라인 스캔)을 위한 궁극적인 솔루션을 제공하게 될 것입니다.

JAI 멀티 스펙트럼 카메라에 대해 더 자세히 알아보기:

JAI Fusion 시리즈 멀티 스펙트럼 프리즘 기반 에어리어 스캔 카메라에 대해 더 자세히 알아보기

JAI Sweep+ 시리즈 멀티 스펙트럼 프리즘 기반 라인 스캔 카메라에 대해 더 자세히 알아보기