姓名：赵茄宇 学号：21181214351 学院：广州研究院
转自：https://www.eefocus.com/component/509502
【嵌牛导读】3D视觉在AI赛道的应用
【嵌牛鼻子】AI Insigh 机器视觉 3D视觉 Al
【嵌牛提问】3D视觉+AI赛道，长坡厚雪迎来爆发期？
【嵌牛正文】
万物智能的明天会发展成什么样？可以肯定的是，不论是机器人还是智能设备，都需要与人、与周围环境进行交互。在机器设备自动化、智能化的发展趋势下，机器视觉正步入新的发展阶段，对于三维深度感知能力的需求不断加大，传统的2D机器视觉正快速向3D升级。可以说，3D视觉技术是高端制造和智能机器人的关键技术，它赋予了机器人“眼睛和大脑”的三维感知能力，是构建AI智能机器生态的重要一环。
3D视觉，为何迟迟未能爆发？
3D视觉利用近红外线光来扫描周围环境，再由CMOS图像传感器接收并转换为数字信号，最后通过芯片计算出物体在三维空间中的远近与相对位置，因此能了解物体的动作、与环境的互动，由此即能发展出由动作控制计算机的体感操控，检测出前方的物体；它也可以通过环境扫描建立3D模型，以供制图或虚拟导览运用的3D扫描仪等应用。
由于2D视觉逐渐无法满足对复杂对象识别和尺寸测量精度日益增加的要求，因此也催生了3D视觉的增长。那么3D视觉应用已经爆发了吗？首先从以往的场景来看，其实还不够丰富，主要应用于大型工业制造业企业、物流、智慧城市监控，以及少部分消费应用等。
再从技术本身的发展来看，从2D转向3D，需要所获取信息质量和数量的飞跃。相对来说，2D视觉市场积淀深，3D视觉方案只有达到一定的成熟度，才可以全面实现2D向3D的转变。
但是，3D机器视觉技术门槛高，涉及到光学、结构、散热等跨学科设计问题，再加上芯片、算法构成的复杂系统设计，需要一定的技术实力，投入足够的时间和人才，才可以研发相关方案。也就是说，技术门槛高、投入大、研发企业少，都是阻碍3D视觉快速普及的原因。
一位机器人领域的研发人员，他表示，“机器人是一种基于多种技术融合和实现的产品，特别是在视觉领域，由于核心技术研发投入大、周期长，通常下游设计需要完整的系统级解决方案，需要有竞争力的、高度集成的、易于使用的产品，这样才能带动下游大规模的市场需求。”在他看来，完整的系统级解决方案是推动整个产业生态发展的关键一环。
要做机器视觉领域的“联发科”？
来自下游的需求，正在与上游的布局匹配起来。
笔者在对3D芯片及模组厂商银牛微电子的采访中了解到，该公司正在从芯片到模组，包括3D视觉+SLAM+AI算法，形成一体化的系统解决方案。
用银牛微电子董事长兼CEO 曲冠诚的话来说，银牛当前在机器视觉产业链中的定位“就像是手机行业当年的联发科”。他表示，“从芯片到模组再加上应用算法，根据各个行业的需求推出系统解决方案。我们的首款3D机器视觉模组面向机器人行业，希望以此加速行业的变革。”
当年在智能手机市场，联发科通过turn-key解决方案，把智能方案从成本到应用程度做成了成熟的商业模式。“我们现在处于同样的位置，机器人这个领域不管有多少玩家，大家都可以很方便地用我们的模组去做3D视觉方案，整个机器人产业的功能、生产成本、生产周期，都会大大改善”， 曲冠诚表示。
那么，银牛微电子的信心源于什么？该公司是为并购以色列3D视觉和AI芯片公司Inuitive而成立的一家初创公司。追溯Inuitive的发展，据称它是世界上第一个在芯片内实现对3D双目功能的支持，3D engine同时支持双目和结构光技术。不仅如此，Inuitive还能在芯片中同时实现3D engine + SLAM + AI功能。基于近十年的技术储备，Inuitive在计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等领域积累了丰富经验。迄今共已迭代了两代芯片并实现量产，并有多款模组产品满足不同应用需求。去年11月底，银牛微电子与Inuitive完成了收购协议的工商变更，至此实现了对Inuitive的绝对控股。
最新推出的银牛3D机器视觉模组C158，就是基于Inuitive 3D深度感知技术的首款模组产品，针对中国本土化需求而设计。C158基于NU4000芯片，深度分辨率为1280 x 800 @60fps，感知距离6m，深度感知精度误差为1%，可满足对3D深度性能有高要求的应用；AI性能方面，该产品拥有2 TOPs的AI运算能力和灵活配置；模组体积为125mm x 40mm x 27mm，支持120fps的2路摄像头以及6自由度坐标的重定位，能够实现实时高精度姿态跟踪；功耗方面，C158以0.5w可实现5-6 TOPS算力。
据银牛微电子联合创始人兼副总裁何火高介绍，通过在模组中集成3D深度、SLAM实时定位建图引擎及人工智能等功能，银牛希望推动3D视觉与AI融合的新发展。而构建3D视觉+AI融合的方案，除了深度感知技术所涉及的深度视觉引擎，需要专为3D感知功能设计，同时要具备出色的性能功耗。此外，SLAM（实时定位与建图）和TimeWarp （ATW）异步时间扭曲也是两大核心技术，前者有助于传感器在运动过程中探测并建立环境模型，同时估计自身的运动并定位；后者则可以产生中间帧，从而有效减少画面的抖动，这项技术对AR、VR尤其重要，因为VR目前面临的最大问题就是眩晕感，异步时间扭曲通过产生中间帧减少画面抖动，现在从动作到画面反应的延迟，已经做到了小于1毫秒。
“机器视觉不仅仅是看到，而是要达到某种目的。人也好，机器也好，理解这个世界，看到同时需要处理信息，这就需要强大的计算能力。之后还要进行分析、判断、决策、执行，需要系统的整体的设计或功能块不断增强，这些都是缺一不可的，这是所有机器视觉都需要不断完善的方向”， 何火高表示。
已站上四大风口起点
机器人、自动驾驶、金融支付已经体现出对3D视觉的强需求，当然，还有虚实相融的元宇宙，AR、VR等XR设备和3D交互需求已经率先凸显。
这些需求带来了庞大的市场，但这也是极度碎片化的市场。
仅以机器人应用来看，就有各种机器人广义上的变形。不同机器人在双目之间的距离差距较大，有的要求100毫米，有的要求55毫米……再看具体的应用场景，有的是仓储机器人，有的是服务机器人……又体现出千差万别的设计需求。
“机器人产业很庞大，虽然碎片化确实很严重，但是这对我们来说不是问题，因为我们提供的是针对机器人行业的通用3D视觉模组”，银牛微电子联合创始人兼首席战略官白逸表示，“模组的好处是随着在个别市场的应用成熟，在某个市场通过量产、客户和市场的考验后，能够基于已有的完整的基础软件和开发环境继续完善。它可以用在任何一个市场的，一个市场需求成熟后，只需要快速迭代一个新的模组产品，就可以满足突然爆发的需求。”
至于为什么首个细分赛道选择机器人？曲冠诚表示，“现在看来，机器人的需求是爆发性的，只要有货就有人要，现在是产能能能跟上的问题。。这个应用场景有真实和巨大的需求，和我们的产品特点也非常契合，整体效益、利润率都很高。模组产品能够帮助用户以更低的门槛、成本加快研发和应用落地，最终促进3D视觉生态的发展。”
不仅是机器人，随着元宇宙概念的出圈，XR市场已接近高速发展的拐点。
德勤在最新推出的《未来已来：全球XR产业洞察》中指出，现阶段元宇宙处于起步阶段，在于对基础设施及设备的建设和开发，特别是扩展现实设备（XR）是现阶段的关键产品，包括VR、AR、MR等，XR当前的发展的状态十分类似于智能手机进入高速发展期的拐点阶段。
“一项好的技术要形成一款成功的产品，从而最终推动整个生态的发展，中间有着巨大的鸿沟，这个鸿沟可能90%是软件的工作量”， 白逸表示，“软件工作的缺口还是非常大的，我们在国内已经开始建立庞大的软件团队，且明年至少规划120-150人的软件团队规模，来支撑不断涌现的细分市场、不断增长的客户需求，这也是银牛打造生态的关键环节。”
写在最后
GGII数据显示，预计到2023年我国机器视觉市场规模将达到208.6亿元，其中3D视觉市场规模将达到34.28亿元，预计到2025年我国3D视觉市场规模将超过100亿元。
在这个未来的百亿级市场中，3D视觉将趋于智能化、集成化、实时性、高性能、多场景应用等方向。而从当前整体产业布局来看，处于底层的视觉硬件设备中绕不开的卡脖子技术就是芯片和光学镜头等，这些将是我国下一步发展的重点。
银牛通过通过收购以色列公司，基于芯片、算法、模组等构筑了人工智能时代IoT和边缘端完整的3D感知和异构计算平台，以及相关生态，而如何继续推进核心芯片、算法技术的迭代，以及建立生态圈将是下一步的重点。
“人生就像滚雪球，最重要之事是发现湿雪和长长的山坡。”巴菲特用滚雪球来比喻通过复利的长期作用实现巨大财富的积累。对企业来说，所谓长长的坡就是指行业发展空间巨大；而厚厚的雪，则指自身的核心技术、商业模式、盈利能力足够强。在现实的市场中，充满了要么坡不够长、要么雪不够厚的企业。从这个层面来看，银牛及其所处的3D视觉行业是幸运的。
就像采访中曲冠诚所说，不论是产品还是行业，都有其生命周期，都要经历从开始到爆发、再到实现平衡、最后走向递减的过程。也许起点只是一个新兴的、很小的点，存在很多竞争，不同厂商在其中做不同的市场测试，再到逐步让用户接受，然后产业做大做强。“现阶段，3D视觉就是正好在风口的起点上。明后年会有大规模的出货，比之前有爆发式的增长，这是很显著的发展势头”，他表示。
