用于医疗和工业机器视觉系统的多光谱成像

什么是多光谱成像？

“多光谱”一词经常被误解或曲解。这是因为在物理教科书中并示给出“多光谱”的确切定义。字面意思是指对多个光谱波段进行图像化或者可视化。所以根据这个理解，那么RGB相机也可以归入多光谱成像的范畴。但是一般说来，对RGB和NIR两个波长范围以上进行拍摄的才称为

多光谱相机，因为它同时覆盖了可见光和NIR光谱波段。在成像领域还有一种不成文的说法，即涉及2到15个波段的成像可以称为多光谱。甚至有的公司将多光谱的定义扩展到拥有多达25个波段的系统。尽管在定义方面看似有些模糊，但有一点在科学文献中已经得到明确的定义，那就是多光谱成像可以由位置彼此分离的光谱波段组成，而且，它们不必是连续的。

例如，一个多光谱成像系统可以在可见光谱中有两个光谱波段，它们的位置彼此分离（例如，一个波段在蓝色区域，第二个波段在红色区域），第三个波段在NIR区域，第四个波段在SWIR区域。因此，多光谱成像是在一定的光谱范围内，选定的位置上使用捕捉目标波长的方法。

人们很容易将高光谱成像与多光谱成像混淆在一起。这两个术语经常被错误理解为同一个意思。两者在分光特性上区别明显。高光谱成像技术使用连续的波长范围（例如，400-1100 nm，步长为1 nm）。因此，作为两种不同的成像技术，对多光谱成像和高光谱成像的定义是有明确的区别的。

多光谱成像应用

多光谱成像可增强多个应用领域的检验能力，如农业、医疗和其他使用机器视觉相机的工业应用领域。随着世界人口的增加和自然资源短缺情况的日益加剧，高效并兼顾质量管理地进行农业生产是当务之急。

目前，大多数农民一般仍然靠目测检查来实施农作物的生长和质量。但是人眼的感知能力有限且具有主观性。许多质量评估的要求不仅超出了人类的视觉能力，也超出了传统的利用RGB彩色成像的能力。

采用精准农业和智能农业理念的农场通过使用多光谱相机，既实现了出色的品质评测，又完成了高效率，并大幅削减了劳动力成本。多光谱图像是评价土壤生产力和分析农作物健康状况的有效工具。 相比用肉眼观察进行观察，多光谱传感器技术让农民能够获得更为精确高效的信息进行判断。

除了估算农作物产量，多光谱成像还可以帮助农民查看农作物果实的成长情况，并进而对生长管理，做出及时必要的对策。利用多光谱成像技术对杂草、病虫害进行识别已成为一种流行的方法，因为早期检测有助于优化方法和资源，促进农作物的良好生长。多光谱成像还有助于进行面积计算，农作物测量来帮助进行工作人员分配。关于土壤肥沃程度的数据，有效地影响着土地的活用和管理。

除了辅助农作物的生长之外，将光谱成像与人工智能中的深度学习相结合，还扩展到了帮助控制和测量农作物灌溉和监控牲畜状态等方面。当用于果蔬产品检验时，多光谱成像可以提供可见和不可见波长的组合，从而同时测量和分析外在特征（如颜色、纹理、表面损伤、形状和尺寸）和内在特征（如干燥度、成熟度、水分含量、糖和脂肪含量）。同样地，在检验肉和鱼时，多光谱成像有助于分析切口、脂肪和骨含量，以及对肉表面的损伤和颜色进行检验。

除了辅助农作物的生长之外，将光谱成像与人工智能中的深度学习相结合，还扩展到了帮助控制和测量农作物灌溉和监控牲畜状态等方面。当用于果蔬产品检验时，多光谱成像可以提供可见和不可见波长的组合，从而同时测量和分析外在特征（如颜色、纹理、表面损伤、形状和尺寸）和内在特征（如干燥度、成熟度、水分含量、糖和脂肪含量）。同样地，在检验肉和鱼时，多光谱成像有助于分析切口、脂肪和骨含量，以及对肉表面的损伤和颜色进行检验。

多光谱成像可以为医学应用尤其是外科手术任务增加巨大的价值。将彩色成像技术与NIR波段相结合，有助于定位和鉴别肿瘤和周围组织。多光谱设置可以通过多种方式实现，但是一种非常经济高效的方法是使用棱镜式多传感器相机，可以极大降低系统的复杂性。对于内窥镜、外科成像方面的应用，可以同时捕获两三个不同波段的图像，然后对图像进行“融合”。将不可见的NIR通道的图像与RGB图像进行重叠。利用荧光剂(ICG)对蛋白质进行附着的特性，用相机在手术过程当中定位病变组织(在此之前只有大面积切除被怀疑的组织部分)。这种术中成像系统，通过荧光定位影像技术，即时地为外科医生提供其正在处理的血管或组织的“增强”视图。

在医药产业方面，从制粒到片剂条的填充和密封，多光谱成像还被广泛用于药物片剂的生产和包装时的品质检验。将RGB颜色和NIR波长进行结合，不仅可以检验包装和泡罩的表面，还可以透过泡罩包装对其内部进行检查。这有助于做出质量分析，例如是否正确填充了相同数量及品种的药片，药片是否缺角或褪色，或是否混入了异物等。无论包装的形状如何，均可以于一次便完成计数及品质的检查。

在PCB检测等工业应用中，RGB和NIR波段的同时成像不仅有助于检测电容器、晶体管等表面零部件，而且还有助于检测嵌在内部的铜线等金属导线。另外在对电子产品进行回收利用时，对贵金属和零部件的精确检测也非常有用。

在纺织和印刷检测中，多光谱相机可以帮助准确地再现和测量颜色。它不仅能准确地匹配样本的颜色，而且能准确识别皮革、树脂、塑料、丝线、金属、聚酯等各种服装材料。

一般来说，所有需要可见光谱内的离散波段的应用，或需要从可见光谱扩展到NIR波段或SWIR的应用，都能够从多光谱成像中受益。

多光谱相机技术

最早问世的一批多光谱系统要么用于太空科学成像，要么用于绘画和文物的分析和数字化处理。1972年发射的陆地卫星1号(LANDSAT 1)装备了一个四波段多光谱成像系统，包括可见光的绿色和红色通道，以及两个NIR波段。

到1999年发射陆地卫星7号(LANDSAT 7)时，该系统已经扩展到8个多光谱波段，包括从可见光的蓝色通道到热红外波段。这些以及随后发射的多光谱卫星主要用于农业和环境分析，应用范围涵盖海岸和洋流观测、植被分析、干旱胁迫、燃烧/火灾影响地区监测，甚至于云层覆盖的分析。从所用的光学元件到传感器，整个系统都是极其精密和昂贵的。

同样，用于拍摄静物的高端多光谱相机多年来一直用于艺术和考古应用领域。这些相机使用多达18个多光谱波段来绘制和初步识别艺术品上的颜料和修饰。这些图像也用于对旧的和褪色的文件和文物进行数字化和/或视觉增强处理。修复人员还可以使用多光谱成像技术来区分原始部分与修复部分，并选择合适的修复程序。

随着时间的推移，基于傅里叶变换光谱学、液晶可调滤波器、宽频带和窄频带滤波器等，已经开发出不同类型的多光谱系统。随着各种方法的改进，它们的应用范围已经从超高端的卫星和艺术保护系统迁移到将分辨率、帧速率和性价比完美融合在一起的机器视觉相机，这使得它们得以用于广泛的多光谱应用。

在本技术指南中，我们将重点介绍这些基于相机的多光谱成像技术，这些技术在机器视觉应用中正变得越来越流行。

用于多光谱成像的面阵扫描与线阵扫描

在上述多光谱成像方法中，只有极少的几种可用于高速工业应用。在面阵扫描中，多传感器棱镜式方法非常适合用于对高速、大批量生产的商品进行检验。其他面阵扫描方法，如像素化多光谱像素阵列（快照马赛克）和基于滤光轮的方法，对于工业成像来说太慢。除此之外，利用快照马赛克相机获取空间分辨率和对像素信息进行重建也是非常有挑战性的任务。

基于滤光轮的相机体积庞大，由多个移动部件组成，这样会降低该方法的稳固性。尽管如此，与多传感器棱镜式方法相比，快照马赛克和滤光轮方法可提供更多光谱波段。快照马赛克技术适用于农业、智能农业、医学成像等不需要较高空间准确度的领域。基于滤光轮的相机特别适合用于对古画和古典艺术品进行数字存档。多传感器棱镜式相机适用于精准农业、智能农业、水果、蔬菜、肉类、海鲜和工业产品（如食品和药品包装、电子产品和印刷电路板）的在线检验。

对于利用线阵扫描相机进行的多光谱成像，有两种主要的方法非常有潜力。一种是使用推扫式高光谱传感器，该传感器允许从高光谱方法（225个光谱波段）缩减到多光谱方法（5个光谱波段，行频为6.5 kHz），这使得该方法可用于食品、回收和包装货物的检验等工业中速应用。

多传感器棱镜式多线传感器方法可实现非常高的速度（像素4K，行频高达77 kHz），对可见光和NIR波段进行同时成像，以获得多达四个光谱波段的组合。由于具备出色的速度，此方法可用于所有基于带式、通道式或自由落体式排序的高速应用。

第三种方法 — 使用具备滤光片的标准三线传感器，可减少水平线分辨率和实现6到12个通道 — 多年来一直试图进军印刷、食品、陶瓷、纺织检验等应用领域，但由于校准程序复杂、精度低、API难以使用等原因，未能取得成功。

选择用于多光谱成像的相机技术时的主要考虑因素

易于设置（系统集成）：
使用多光谱成像比使用标准机器视觉相机要复杂得多。 为了安装和集成多光谱成像系统
的不同组件，拥有良好的专业知识非常重要，这些知识不仅仅关于相机，还包括涉及光
源的校准程序、被检验对象的性质，以及在处理数据和校正图像数据时出现的瓶颈。整
个系统的集成可能不像高光谱系统那样复杂，但这实际上取决于用户希望使用多光谱成
像系统完成什么任务。

速度和分辨率：
工业检验程序要求高吞吐量。许多多光谱系统的读出架构和结构都受到速度的限制。速
度取决于波长通道的数量、使用的多光谱技术的类型和接口。光谱波段的数量越高，就
越难以捕获高速应用所需的光量。空间分辨率对于多光谱成像也是一个挑战，特别是在
检验微小物体时。基于快照马赛克传感器的相机使用插值来根据单个像素值估计缺失的
空间信息，但这种方法在检验较小的缺陷尺寸时不是很准确。每个应用可能需要在可能
的多光谱通道数量和可达到的速度和分辨率之间进行不同的权衡。

光谱波段数：
一个应用所需的光谱波段数量实际上取决于要检验的对象的性质、所需的检验精度，以及使用额外的光谱估计技术在图像处理方面可以达到的精度。在一些应用中，如红色边缘检测或NDVI分析，我们清楚地知道，从农作物中捕获所需数据时需要红色和NIR区域的哪些波段。这也适用于光谱数据为人熟知的塑料和有机材料。另一个例子是ICG吸收和荧光缓解带已知的荧光内窥镜检查。在这种情况下，可能不需要超越有限数量的波段。然而，也有一些应用涉及到要检验的不同材料的混合，或需要多个光谱波段来准确识别特定的波段，或基于多光谱成像的光谱颜色测量应用。这类应用需要相对较多的光谱波段。

灵活性：
灵活或可扩展的多光谱系统主要适用于在同一台设备上检验不同类型材料的应用。灵活性允许用户根据应用的需求调整多光谱成像系统。这种灵活性主要取决于所需的光谱波段的数量，这确实会提高或降低成像系统的速度。某些系统的灵活性也意味着较低的稳固性，因为可能需要更换正在更改或移动的部件（例如，在滤光轮方法中，滤光轮可以很容易地进行更换，但它在系统中添加了一个移动组件，而这会影响系统的稳固性）。另一方面，有些相机在制造时具有灵活性，但制造完成后就不具有灵活性了。多传感器棱镜式相机在制造过程中具有灵活性，可以根据硬二向色涂层和基本棱镜参数来选择相机所需的光谱响应。然而，一旦棱镜式传感器组装完成后，就无法对其进行更改。基于快照马赛克传感器的相机具有相同的逻辑。多光谱滤波阵列固定在传感器上后，就不能在检验过程中更换或修改。

处理多光谱数据立方体和数据流：
数据立方体。虽然其复杂性远低于高光谱数据立方体（高光谱数据立方体每像素可以有数以百计的光谱），但它比处理传统的RGB相机系统要复杂得多。系统架构必须具备正确处理、过滤和解读多光谱数据的能力。光谱通道的数量越少，此过程就越简单。第二个挑战可能来自用于处理从相机到处理站的数据流的方法。在使用多流的情况下，它的优点是可以独立控制单独的数据流，而挑战则是如何在应用软件上对此进行有效管理。处理多流要求软件架构能够同时处理两个或多个流。仅为单流设计的软件需要设备发送单帧或同时全部可用的复合有效载荷。 因此，对于单帧和复合有效载荷，用户可以调用单个函数并从一个流获取图像。然而，也有一些平台（比如JAI的eBUS Player）可以使用只读模式打开相机设备第二次或第三次，并处理多个数据流。

系统成本：
在做任何决策时，成本始终是非常重要的驱动因素。 与高度专业化和体积庞大的系统相比，批量生产且方便使用的紧凑型相机成本更低。成本还受到需要执行的检验任务的影响。与研究、高科技或科学成像领域中的应用相比，终端消费者或接近终端消费者驱动的应用（如食品和农业检验）对价格更敏感。如今，高端高光谱成像系统的起价约为每部相机20,000欧元。对于批量生产的多光谱相机，只有其价格远低于10,000欧元时，才具有真正的商业吸引力。基于多个相机的多光谱相机比其他方法（例如，多传感器棱镜式相机或基于多光谱阵列的相机）更加昂贵。同样重要的是，必须根据多光谱成像能够解决或简化现有成像问题的价值来衡量和推动成本讨论。

高光谱和多光谱成像的未来发展趋势

用来测量物体光谱足迹的传统光谱仪已经过几十年的尝试和测试。这些光谱仪都非常准确，但未应用于更大的视野，并且点测量技术近年来没有获得太多的发展动力。

基于相机的成像技术是光谱成像的未来。然而，众所周知，高光谱成像在成像和图像处理的所有领域都有巨大的潜力。这是因为光谱成像或光谱分析是任何物质的最终物理足迹。在寻找这种光谱足迹的过程中，高光谱成像技术将继续获得发展。事实上，从空间和卫星成像到现在可用于许多机器视觉应用，该技术已经取得长足的发展。它正在实验室和研究应用方面取得巨大进展。但是，尽管这项技术有着非常大的潜力，它还未能在工业应用中取得太多突破。高光谱成像确实在工业成像领域得到了一些应用，我们也确实听到很多关于这种技术的可能性的宣传，但是正如在第4章中所述，它仍然非常复杂、昂贵，并且在技术上不能达到大多数工业检测应用的标准。

从商业的角度来看，公司想要推出偏小众的技术，但同时也不希望产品的价格太过昂贵，因为这样才能获得更大的市场份额。这对于如今的高光谱成像技术而言非常困难。鉴于目前高光谱成像技术的局限性，多光谱成像技术在高吞吐量、高分辨率、高稳固性、有竞争力的价格、基于有限数量的光谱波段的易用性和易集成性等方面，成为实现商品工业化批量生产检验的过渡性技术。

高光谱成像对于多光谱成像的成功仍然非常重要且具有很高的相关性，因为它可以作为一个核心技术来识别目标应用所需的相关波段。大量的工业、农业和医疗应用不需要大量的光谱波段，而这些波段可用于极其强大但昂贵的高光谱成像技术。接下来需要的是一种支持高度可定制性的多光谱方法，其中从高光谱分析中提取的信息可用于创建具有高度针对性的多光谱相机系统。虽然滤光轮有一种方法来提供这种可定制性，但在不久的将来，一种模块化的棱镜式方法可能会提供最终的多光谱成像（包括面阵扫描和线阵扫描）解决方案。

Learn more about JAI's multispectral cameras:

Learn more about our multispectral prism-based area scan cameras in the Fusion Series
Learn more about our multispectral prism-based line scan cameras in the Sweep+ Series