发布日期：2024-07-26 02:53 点击次数：109
在当代科技的舞台上，“视觉感知期间”正饰演着至关要紧的变装。从自动驾驶汽车到智慧的机器东说念主奇米777me，再到无处不在的智能监控系统，图像的阐发平直决定了这些期间的见效与否。
相干词，迎面对动态、多变且不行瞻望的环境时，传统图像传感器往往力不从心，面对诸多挑战。这些挑战主要包括动态鸿沟有限、数据冗余、感知延伸等几个主要的方面。
动态鸿沟指在图像或视频中简略捕捉到的最暗到最亮的可见鸿沟内的通盘像素鸿沟。动态鸿沟越大，开发不错捕捉到更多的像素变化，从深黑到亮堂的细节皆不错更明晰地展示出来。相干词传统传感器的动态鸿沟相当有限，难以在强光和弱光环境下同期捕捉到明晰的图像。
数据冗余则是指高分辨率和高速传感器会产生无数数据，增多了处理和传输的职守。感知延伸是指由于处理速率的铁心，传感器在快速变化的环境中容易出现感知延伸，影响决策的实时性。
由于动态鸿沟有限，导致相机在弱光环境下（第三幅）图像中无法捕捉到明晰的东说念主像
（图片开端：参考文件1）
在自动驾驶、机器东说念主和东说念主工智能等限度，这些问题尤为彰着。举例，在自动驾驶中，传感器必须简略飞速而准确地识别路况和潜在危机，但传统传感器在处理复杂场景（如一刹出现的行东说念主或车辆）时往往阐发欠安。
这些期间封闭铁心了图像传感器在复杂环境下的欺诈，也催生了对更先进的视觉感知期间的要紧需求。科学家正在通过不停接洽东说念主类出色的视觉系统来试图寻找到措置决策。
东说念主类视觉系统的启示
东说念主类视觉系统（Human Visual System, HVS）在处理复杂视觉信息方面阐发出色。即，低级视觉皮层行为视觉信息的初步处理区域，将视觉信息领悟为原始的要素，如颜料、目的和畅通，并将这些信息传递到背侧流和腹侧流，然后通过两条主要旅途进行处理：
领略旅途：腹侧流（Ventral stream）联络到颞叶（temporal lobe），主要认真高精度的领略和细节识别，如颜料和方法。这条旅途使咱们简略明晰地看到物体的细节和颜料，并对环境进行准确的领略。
动作旅途：背侧流（Dorsal stream）联络到顶叶（parietal lobe），主要认真快速反应和畅通检测，如目的和速率。通过这条旅途，咱们不错飞速识别畅通的物体，并作出相应的反应，如躲避封闭物或追赶目的。
背侧流（Dorsal stream）、腹侧流（Ventral stream）和低级视觉皮层（Primary visual cortex）
（图片开端：VISUAL SYSTEM: CENTRAL PROCESSING）
这种双旅途的处理方式使得东说念主类简略在各式复杂环境中高效、准确地感知和反应。基于对东说念主类视觉系统的师法，清华大学的接洽团队研发出了宇宙首款类脑互补视觉芯片——天眸芯片，冲破了传统视觉感知芯片的错误，提供了前所未有的高效、精确的视觉感知措置决策。
天眸芯片的出身
天眸芯片的假想理念基于对东说念主类视觉系统的深刻接洽，罗致了夹杂像素阵列和并行异构读出架构。
夹杂像素阵列师法了东说念主类视觉系统中的锥状细胞和杆状细胞，分手用于颜料和畅通检测。其中，上皮细胞（Epithelial cells）复旧和保护感光细胞的细胞层。锥状细胞（Cone）主要认真捕捉颜料信息，使咱们简略在亮堂光辉下看到丰富的颜料细节。而杆状细胞则对光辉的强弱变化极为敏锐，极端适用于低光环境，匡助咱们在灰暗要求下看到物体的轮廓和畅通。
西西掰阴艺术
锥状细胞、杆状细胞和上皮细胞
（图片开端：Seeing color）
并行异构读出架构是天眸芯片的中枢部分。它的作用是将来自不同像素（如锥体和杆状像素）的电信号以高速率和高精度迁徙为数字数据。这种架构的上风在于简略同期处理高动态鸿沟和高速率的感知需求，有用减少数据冗余，并在复杂光照要求下保捏高性能。
天眸芯片的架构，包括夹杂像素阵列过火与多条旅途的交互
（图片开端：参考文件2）
通过这些新期间的欺诈，天眸芯片同期具备了高速感知才气、宽动态鸿沟和带宽优化这三个特质，措置了传统传感器的错误。
高速感知才气：天眸芯片简略达成每秒高达10,000帧的速率，确保在快速变化的环境中照旧简略捕捉到明晰的图。这种高帧率感知才气关于自动驾驶和机器东说念主等需要实时感知和反应的欺诈场景至关要紧。
宽动态鸿沟：动态鸿沟的缠绵单元是dB（分贝），传统传感器的动态鸿沟往往在60至80dB之间，而东说念主眼的动态鸿沟约为120dB。天眸芯片领有高达130dB的动态鸿沟，简略在强光和弱光环境下同期提供明晰的图像。这意味着即使在阳光直射和暗影并存的复杂光照环境下，天眸芯片也能提供玄虚的画面细节。
天眸芯片在不同光功率密度下的信噪比，通过连合动作旅途和领略旅途的高增益和低增益模式，天眸芯片达成了130dB的宽动态鸿沟。这标明该芯片能在极强和极弱光照要求下提供高质料的图像。
（图片开端：参考文件2）
带宽优化：通过自顺应期间，天眸芯片简略减少90%的带宽需求，有用裁汰了数据传输和处理的职守。这种带宽优化期间不仅升迁了数据传输恶果，还裁汰了能耗，使得天眸芯片更稳当移动开发和物联网欺诈。
天眸芯片在快速畅通和光闪纷扰下的高性能阐发。通过动作旅途的高速反馈，芯片能飞速处理不行瞻望的光闪事件，同期保捏低带宽蹧跶。天眸芯片在功耗和带宽方面相干于传统和神经形态视觉传感器展现了优厚的性能。
（图片开端：参考文件2）
天眸芯片的欺诈案例
天眸芯片在自动驾驶系统中的欺诈是其宏大性能的一个要紧展示。它简略在复杂的说念路环境中提供准确、快速和慎重的感知，即使在旯旮情况下也能作念出飞速反应。这关于升迁自动驾驶系统的安全性和可靠性具有要紧有趣。
举例，天眸芯片在自动驾驶测试中展示了其在应付一刹出现的行东说念主和车辆时的优厚性能，显赫裁汰了事故发生的概率。
除了自动驾驶，天眸芯片还不错广博欺诈于无东说念主机、安防监控等限度。举例，在安防监控中，天眸芯片简略在光辉变化剧烈的环境下提供高质料的视频图像，有助于实时发现潜在的安全恫吓。在无东说念主机欺诈中，天眸芯片的高动态鸿沟和高速感知才气使得无东说念主机简略在复杂地形和光照要求下进行高效的导航和监控。
天眸芯片在远程驾驶测试中的阐发。测试中，车辆碰到昼夜、纯正、高动态鸿沟、极端物体和复杂场景等极点情况。天眸芯片通过领略旅途和动作旅途检测收尾的无缝同步，确保了高精度感知。
（图片开端：参考文件2）
多种实验的收尾标明，天眸芯片不仅具有高动态鸿沟和高分辨率，还能在高速畅通和极点光照要求下保捏优异的感知性，在极点环境下的阐发远优于传统传感器。
天眸芯片在将来科技发展中领有无穷的可能。跟着期间不停额外，它将在更多限度中饰演不行或缺的变装。试念念在增强践诺（AR）和诬捏践诺（VR）中，天眸芯片带来的超高质料视觉体验，将如何透顶编削咱们的感知和交互方式？这只是是启动。
将来，今日眸芯片与东说念主工智能期间深度会通，会为智能城市确立、医疗影像分析、工业自动化等限度带来哪些颠覆性的变革？它将如何引颈咱们插足一个愈加智能和互联的宇宙？悬念依旧，咱们静瞻念其变。
参考文件
Han, Yuqi & Yu, Xiaohang & Luan, Heng & Suo, Jinli. (2023). Event-Assisted Object Tracking on High-Speed Drones under Harsh Illumination Environment. 10.20944/preprints202312.1056.v1.Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024).
出品：科普中国
作家：郑胜杰（缠绵与神经系统学博士生）
监制：中国科普博览
