一、相机种类

1.多光谱相机
白光、红外一体的，还带NPU，可以进行目标识别，输出识别结果。

2.多路输出相机
一个相机有多种接口，比如SDI和PAL。

3.微光相机
低照度环境下也可识别。

二、相机参数

2.1 性能参数

工业相机的性能参数主要包括分辨率、帧率、动态范围、灵敏度等。

分辨率：指工业相机能够捕捉的图像的像素数量，通常以像素为单位表示，如640x480、1920x1080等，也会简写为0.9MP(1280 x 720)，1MP(1280 x 960)，3MP(2048 x 1536)，5MP(2592 x 1592)。分辨率越高，图像的细节表现越好。
帧率：指工业相机每秒钟能够捕捉的图像帧数，单位为fps（frames per second）。帧率越高，相机对运动物体的捕捉能力越强，延迟越低。
动态范围：指工业相机能够捕捉的最大亮度和最小亮度之间的比值，用分贝（dB）表示。动态范围越大，相机对亮度变化的适应能力越强，微光相机的动态范围就很大！。
灵敏度：指工业相机对光线的响应能力，以ISO或dB为单位表示。灵敏度越高，相机在低光环境下的表现越好。

2.2 其它参数

工作距离：根据场景选取，近距离识别，十几米；中距离几十米；远距离超过100米。最小像素点的个数，比如目标识别就要求人至少有15个像素的点，才能准确识别！普通USB相机一般20米以内效果还可以。
视场角：视场角越大，看的画面越多，但是可能畸变就越大，一般90-120度左右。如果是给人看的，可以用大视场角的，如果要跑感知模型，视场角不能太大，否则畸变较为严重。
畸变：畸变严重的相机在标定后会裁剪一部分画面，丢失一部分信息，畸变校正分为鱼眼和多项式校正。
重量：一般几十克
功率：通常5瓦以内

6.端到端延迟：指相机端到屏幕端，主要与四个因素有关，1.相机帧率，帧率越高，延迟越低；2.传输速率，相机传输协议的速率越高，传输延时越小；3.渲染延迟，与显示设备的渲染机制有关(如hdmi显示，显卡渲染显示)，渲染的框架(如opengl)有关。其它如显示器的显示延迟，一般在1ms以内。4.显示屏幕延迟，延迟等于显示屏幕刷新帧率/2/帧率(除以2是因为显示设备输出画面是逐行扫描，第一行和最后一行的输出时间不同)。在确定相机时，一般也会确定对应传输协议的最大速率，而显示屏大多为30Hz刷新率，因此端到端的延迟主要为渲染延迟！

7.工作温度范围：消费级0～55℃，工业级-20～70°C，车规级-40~85℃

8.存储温度范围：消费级-10～55℃，工业级-30～70°C，车规级-50~85℃

9.供电方式：
直接供电
PoE（Power over Ethernet），被称为以太网供电
PoC (Power over Coax) 即同轴线传输电力
EoC(Ethernet over Coax) 即同轴线传输网络。

2.3 物理接口/连接器/接插件/端子(Connector)

物理接口是指相机接口类型，常见的物理接口类型及应用场景如下：

USB：最常见的相机接口类型，有Type-A和Type-C两种类型，每种类型又有对应的工业接口。

USB接口与对应工业级接口

MIPI CSI-2：Mobile Industry Processor Interface - Camera Serial Interface，MIPI 是 Mobile Industry Processor Interface（移动行业处理器接口）的缩写。MIPI 联盟是一个开放的会员制组织。2003年7月，由美国德州仪器（TI）、意法半导体（ST）、英国 ARM 和芬兰诺基亚（Nokia）4 家公司共同成立。

MIPI 联盟下面有不同的 WorkGroup ，分别定义了一系列的手机内部接口标准，比如摄像头接口 CSI 、显示接口 DSI 等。而 MIPI CSI-2 (Camera) and MIPI DSI (Display)则是目前业界使用最广的两个 MIPI 接口标准，而这也是和视频传输相关的标准。

CSI-2 是 MIPI CSI 第二版，主要由应用层、协议层、物理层组成，最大支持4通道数据传输、单线传输速度高达1Gb/s。

MIPI CSI主要应用于智能手机、平板电脑、无人机等移动设备的嵌入式摄像头模块。

MIPI CSI-2接口

BNC：Bayonet Neill-Concelman，BNC是一种射频连接器，广泛应用于模拟信号和数字信号的传输。在视频领域，BNC接口通常用于传输SDI（Serial Digital Interface）信号，主要应用于专业级视音频设备、闭路电视（CCTV）系统、安防监控等领域，用于传输高清模拟或数字视频信号。

BNC接口

FAKRA：Fachkreis Automobil-Koaxial-Rundsteckverbinder，FAKRA是一种射频连接器，专为汽车行业设计。它具有可编码的颜色编码系统，以便区分不同的功能应用，主要应用于汽车摄像头、无线通信、GPS天线等汽车电子设备，提供可靠的高频信号连接。

FAKRA接口

RJ45：是一种常见的以太网连接器，通常用于传输数据和通信信号。在相机领域，RJ45接口主要应用于网络摄像头，适用于IP摄像头、视频会议系统、远程监控等设备，用于以太网数据传输和通信。其中RJ45有工业网口，带螺丝紧固件！

普通网口与工业网口

MDR与SDR：MDR是一种具有高密度、小型化设计的数据连接器，SDR接口与MDR接口类似，但具有更高的屏蔽性能和更小的尺寸。它们通常用于高速、高频率的数据传输，如Camera Link标准。该接口广泛应用于高速工业相机、机器视觉系统、医疗成像等领域，提供高速、高分辨率的图像数据传输。

SDR(左)与MDR(右)接口、camera-link接口

三、相机协议

相机协议与物理接口区别：

例1：BNC是物理接口方式， SDI是相机传输协议，SDI传输通常使用BNC接口，但BNC接口同样也可用于模拟传输。

例2：USB是物理接口方式，不仅仅可以传输相机的视频流，还可以传输文件，网络共享等。另外同样的USB接口，不同的USB协议，传输速率也不同。

3.1 USB UVC协议

USB Video Class，即USB视频类，是一种为USB视频捕获设备定义的协议标准。是Microsoft与另外几家设备厂商联合推出的为USB视频捕获设备定义的协议标准，已成为USB org标准之一。

USB 版本	最大传输速率	备注
USB 1.0	1.5 Mbps	低速
USB 1.1	12 Mbps	全速
USB 2.0	480 Mbps	高速
USB 3.0	5 Gbps	超高速
USB 3.1 Gen 1	5 Gbps	-
USB 3.1 Gen 2	10 Gbps	-
USB 3.2 Gen 1×1	5 Gbps	与USB 3.1 Gen 1、USB 3.0相同
USB 3.2 Gen 1×2	10 Gbps	Type C 接口
USB 3.2 Gen 2 x 1	10 Gbps	与USB 3.1 Gen 2相同
USB 3.2 Gen 2 x 2	20 Gbps	双通道模式，所示需要USB 3.2电缆，Type C 接口

3.2 SDI协议

常见的SDI接口类型有SD-SDI、HD-SDI、3G-SDI等。

1994年首次发布SDI协议，采用阻抗为75 欧同轴电缆与75欧BNC连接器。

SDI 类型	发布日期	对应标准	传输速率
SD-SDI（标准清晰度）	1989 年	SMPTE 259M	270 Mbps
HD-SDI（高清晰度）	1998 年	SMPTE 292M	1.485 Gbps
3G-SDI	2006 年	SMPTE 424M/425M	2.970 Gbps
6G-SDI	2013 年	SMPTE ST-2081	6 Gbps
12G-SDI	2015 年	SMPTE ST-2082	12 Gbps

SD-SDI（标准清晰度串行数字接口）：SD-SDI是最早的SDI标准，通常用于传输标准清晰度（480i/576i）的数字视频。SD-SDI的最大传输速率为270 Mbps（兆比特每秒）。

HD-SDI（高清晰度串行数字接口）：随着高清视频的普及，HD-SDI成为了新的SDI标准。HD-SDI支持720p和1080i的分辨率，传输速率为1.485 Gbps（千兆比特每秒）。

3G-SDI：3G-SDI进一步扩展了SDI的传输能力，支持1080p全高清分辨率的视频传输。3G-SDI有两个等级，Level A和Level B。3G-SDI的传输速率为2.970 Gbps（千兆比特每秒）。

6G-SDI：6G-SDI 支持 4K 分辨率（2160p30）的视频传输。6G-SDI 的传输速率为 6 Gbps（千兆比特每秒）。

12G-SDI：12G-SDI 是目前最高速的 SDI 标准，支持 4K 分辨率（2160p60）的视频传输。12G-SDI 的传输速率为 12 Gbps（千兆比特每秒）。

3.3 MIPI CSI-2协议

MIPI CSI-2有多个版本，其中CSI-2 v2.0最为广泛使用，以下速率都是基于CSI-2 v2.0版本。

MIPI CSI-2版本	发布日期
CSI-2 v1.0	2005
CSI-2 v2.0	2017
CSI-2 v3.0	2019
CSI-2 v4.0	2022

MIPI CSI-2使用MIPI D-PHY或C-PHY作为物理层，DPHY，CPHY都是近距离传输协议，最多传输20cm。它的最大传输速率取决于物理层和数据通道数量：

使用MIPI D-PHY时，每个数据通道的最大速率为2.5 Gbps。常见的配置有1、2或4个数据通道，最大传输速率分别为2.5 Gbps、5 Gbps和10 Gbps。
使用MIPI C-PHY时，每个数据通道的最大速率为3.5 Gsps（Giga Symbols per second）。每个符号可以携带2.28比特信息。因此，每个数据通道的最大速率约为8 Gbps。常见配置有1、2或3个数据通道，最大传输速率分别为8 Gbps、16 Gbps和24 Gbps。

MIPI CSI-2 A-PHY v1.0将在最远15 m的距离上支持高达16 Gbps的数据速率，其路线图愿景是支持摄像机，显示器和其他用例（例如聚合的多个摄像机或显示链接）达到48 Gbps(高性能：5档速度(2,4,8 和16Gbps)，未来48Gbps甚至更高；)及更高进入更高速度的链接。完成后，A-PHY将满足广泛的长距离，高速连接需求。

目前CSI协议已经发布了CSI-3，但CSI-2和CSI-3之间是不兼容的，CSI-2协议既可以使用与DSI一致的D-PHY物理层协议，也可以使用C-PHY作为物理层协议。而CSI-3则只能使用M-PHY作为物理层协议，具体如下图：

每个 M-PHY 速度级别中可以选择两种不同的时钟速率（a 和 b），对应的速度不同。

M-PHY速度	时钟频率	比特率
Gear 1	G1a	1.25 Gbit/s
	G1b	1.49 Gbit/s
Gear 2	G2a	2.5 Gbit/s
	G2b	2.9 Gbit/s
Gear 3	G3a	5 Gbit/s
	G3b	5.8 Gbit/s

3.4 FPD-LINK 协议

FPD-LINK是低压差分信号（LVDS）标准的第一个大规模应用，FPD-LINK有I 、II、III三代版本，分别于1996年，2006年，2010年推出，目前FPD-LINK III版本使用最为广泛。

汽车环境是电子设备最恶劣的环境之一，FPD-Link II 和 III 芯片组达到或超过 AEC-Q100 汽车集成电路可靠性标准，以及汽车 ESD 应用的 ISO 10605 标准。

FPD-Link III增加的双向通信的功能，并支持在链路上传输I2C和CAN等低速信号（主要是针对汽车应用需求的改进）。

在汽车应用中，FPD-Link 通常用于导航系统、车载娱乐系统和倒车摄像头，以及其他高级驾驶辅助系统。

FPD-Link III最大速率可以达到2970 Mbps（2.97 Gbps，单通道）。

3.5 GMSL协议

GMSL(Gigabit Multimedia Serial Links)，中文名称为千兆多媒体串行链路，是Maxim公司推出的一种高速串行接口，适用于音频，视频和控制信号的传输。

通信介质支持同轴电缆以及屏蔽双绞线，使用50Ω同轴电缆或者100Ω屏蔽双绞线(STP)时，长度可达15m甚至更长，一般为车辆，工业场所应用场景较多。

其核心技术为串行器/解串器技术，简称SerDes.首先通过串行器将并行数据流转为串行数据流，然后通过更高的频率进行传输，之后通过解串器将接收到的串行数据流转换为并行数据流。

目前掌握这项技术的只有Maxim和TI两家。Maxim将这种串行器/解串器技术称为GMSL；TI将串行器/解串器技术称为FPD Link，现已发展到第四版本：FPD Link IV，但目前(2023.3)FPD LINK III仍为市场主流产品。

这两家旗下分别有相对应的串行器和解串器产品，一般是为摄像头供应商服务，集成到摄像头内部，作为OEM的二级供应商。

第一代的GMSL从2003年开始，最高支持3Gbps的传输速率，足够传输1百万-3百万像素（1080p/30fps）的视频流数据。从2017年之后，GMSL2代技术出现，传输带宽已经提升至6Gbps(多通道)，可轻松传输8百万像素（4K/30fps）的视频流数据，2022年发布了最新的GMSL3，但目前(2023.3)GMSL2仍为市场主流产品。

Maxim目前同时提供两代的GMSL产品，分别是GMSL1以及GMSL2，其中部分GMSL2产品兼容GMSL1。其中GMSL1最大速率为1.5 Gbps(单通道)，GMSL2最大速率可达到2.5 Gbps(单通道)，最新发布的GMSL3，速率可以达到6 Gbps(单通道)。

3.6 Camera Link 协议

Camera Link标准由Automated Imaging Association (AIA)开发，并根据不同的带宽需求提供了多种配置。

Camera Link协议有四种主要配置：Base、Medium、Full和Deca。这些配置对应不同的数据传输速率：

Base配置：它使用一个24-bit数据通道，最大传输速率为2.04 Gbps。该配置的典型应用场景包括低分辨率和低帧率的图像传输。

Medium配置：它使用两个并行的24-bit数据通道，最大传输速率为4.08 Gbps。这种配置适用于需要传输中等分辨率和帧率的图像。

Full配置：它使用三个并行的24-bit数据通道，最大传输速率为5.4Gbit。这种配置适用于需要传输高分辨率和高帧率的图像。

Deca配置：它使用四个并行的24-bit数据通道，最大传输速率为6.8Gbit。

Camera Link接口还支持其他配置，如Camera Link HS(简称CLHS)，这是一种用于高速、远距离图像传输的标准。Camera Link HS具有更高的数据传输速率，可以达到10 Gbps以上。因为最开始是用在手机上的，20cm足够了（可能iphone20不够，哈哈）；随着MIPI 应用越来越广泛，比如用在电脑上，用在汽车上，那么这个限制就很致命了。怎么解决呢？以后再告诉你。

此外，需要注意的是：Camera Link接口并不支持热插拔。当相机带电工作期间，严禁拔下数据接口，这样有一定的概率会损坏相机，切记！

3.7 CoaXPress协议

CoaXPress（简称CXP）标准原本是由工业图像处理领域的6家公司共同推出的，目的是开发出一个快速的数据接口，并实现更远距离地传输大量数据。第一个CoaXPress接口亮相于2008年举办的Vision斯图加特展会——这是工业图像处理领域的顶级展会。又经过三年多的研发，CXP 1.0终于在2011年以新接口标准的身份正式发布。从那时起，该标准在工业图像处理领域占得一席之地，然后在2021年发展成为CXP 2.0。

CoaXPress (简称CXP)是指一种采用同轴线缆进行互联的相机数据传输标准，主要用于替代之前的cameralink协议，常见于科学相机、工业相机、医学图像、航空防务等场景。之前这些场景都是使用cameralink接口的相机，cameralink 由于线缆的形式、传输速度等原因，已经不再适用于不断增长的数据带宽需求，采用CXP标准协议的工业相机称为CXP相机。

CXP是一种非对称的点对点可扩展串行传输协议，设备和主机之间的物理介质为75Ω 同轴电缆，主要用于传输视频和静态图像，线缆多使用单条或多条同轴电缆。CoaXPress 1.0/1.1标准的接口所支持的数据率每通道最高可达6.25 Gbps，2.0标准的最高速度为单条lane 12.5Gbps，单条lane 上除了传输图像数据之外，还可以传输低速控制信号(42Mbps，用于访问相机的寄存器配置)、也可以利用该线缆对相机进行供电，这个能力称为“Power-over-Coax(PoC供电)”，单条线缆最长可达100m。

CXP使用PCI-E接口卡(不是采集卡)传输数据，类似计算机挂载了一个PCI-E设备，就是一个标准的PCIe endpoint设备，容易部署，可以直接调用。

在计算机上使用GenICam（Generic Interface for Cameras）驱动读取相机数据，GenICam驱动通常支持多种操作系统（如Windows、Linux和macOS），使得开发者可以在不同的平台上开发和部署图像处理应用。

GenICam标准的核心是在一个XML描述符文件里对相机属性进行的描述。使用此文件时，从XML到C++的翻译程序会直接生成被称为GenAPI的应用编程接口或图形用户界面(GUI)的元素。这样，用户便可轻松访问相机提供的特性和功能（例如增益、曝光时间等等）。GigE Vision和USB 3.0 Vision标准要求具有GigE或USB 3.0接口的相机提供这一XML描述符文件。

或者通过halcon获取数据，HALCON是德国MVTec公司开发的一套完善的标准的机器视觉算法包，拥有应用广泛的机器视觉集成开发环境。 HALCON灵活的架构便于机器视觉，医学图像和图像分析应用的快速开发。在欧洲以及日本的工业界已经是公认具有最佳效能的Machine Vision软件。Halcon广泛应用于工业自动化、质量检测、测量和定位等领域。

3.8 相机协议速率总结

相机视频流传输协议按速率排行如下图所示：

下图是从传输距离、速率、是否支持触发、是否支持供电几方面对几种流行的图像传输协议标准对比，其中GigE、USB3、SDI主要用于安防、手机通讯等领域；CXP、Camera link主要用于工业、科学相机，CLHS(Camera Link HS)和CXP应用场景类似，线缆使用光纤传输，但是不支持线缆供电；