这项由意大利帕多瓦大学信息工程系与好意思国哥伦比亚大学策动机科学系长入完成的相关，于2026年5月以预印本模式发布，论文编号为arXiv:2605.19990，目下已投稿至IEEE旗下期刊恭候认真发表。相关的中枢问题极为通俗却令东说念主深念念：机器东说念主在室表里解放行走运，究竟需要几许只"眼睛"才能知说念我方走了多远、走向了何方？
普通东说念主约略从未念念考过这个问题，但它关乎着每一台送餐机器东说念主、仓库搬运小车乃至自动驾驶汽车的气运。今天大多数机器东说念主齐靠录像头来感知我方的位置，这些录像头动辄领有几百万个像素点，耗电量惊东说念主，策动职责千里重。对于那些惟有有限电板和算力的袖珍机器东说念主而言，这种决议就像让一个小孩扛着一台专科级影相建造去导航——能用，但代价太大。相关团队给出的谜底是：只需四个光传感器，谐和一个惯性测量单位，就能终了褂讪可靠的平面导航。
一、为什么录像头的"像素税"让机器东说念主喘不外气
机器东说念主的导航系统普通有两类感官。一类是"内感"，就像东说念主感知我方肌肉用了几许力气——比如轮子转了几许圈的编码器，以及感知加快度和旋转的惯性测量单位（IMU，不错理会为一块精密的"电子均衡感受器"）。另一类是"外感"，即是对外部寰宇的感知，录像头是最常见的代表。
把这两类感官交融起来的时刻叫作念视觉惯性里程计（VIO），是目下机器东说念主规模最常用的导航技能之一。它的劳动旨趣雷同于你在一个生分城市里，一边用手机舆图看周围的路标，一边靠我方的顺次嗅觉走了多远，两者结合来细则位置。然而问题在于，这个"手机舆图"——也即是录像头——实在太耗资源了。
录像头耗尽的电力大致与其像素数目成正比。一块普通图像传感器在正常劳动时会耗尽数百毫瓦的电力。对于需要永劫刻勾通劳动的袖珍机器东说念主来说，这极端于一台功率巨大的电器一直开着，很快就会把电板榨干。此外，处理每一帧画面还需要大齐策动，这对算力有限的镶嵌式平台来说更是雪上加霜。
相关团队把倡导投向了一个更根柢的问题：既然咱们只想知说念机器东说念主跑得多快，确切有必要每秒处理几十帧、每帧包含几百万像素的图像吗？
二、向当然界取经：苍蝇的眼睛给了相关者启发
生物学家很早就发现，虫豸的复眼固然远不如东说念主眼雅致无比，却能在飞翔中精确感知速率和标的。这背后的机要在于：通安产生的视觉信号，实质上是空间纹理被时刻"刷过"时留住的频率特征——不需要认清每一个细节，只需要感知这种频率的变化就够了。
理会这少许，需要借助一个直观化的念念想实验。假定你坐在火车上，闭上眼睛，只通过窗帘瑕疵感受外面清朗的明暗轮流——当列车快速穿过一派树林时，清朗会快速醒目；停驻来时，醒目住手。仅凭这种醒目的频率，你就能大致判断列车的速率，而完全不需要看透露树林的全貌。
这恰是相关团队传感器设想的中枢直观。他们在大地朝下安置了四个光电二极管（通俗来说即是能感知光强的微小电子元件），每个元件前边舍弃了一块特等的光学滤镜——这块滤镜的图案就像斑马线，由长短条纹轮流组成，但条纹并不是均匀散布的，而是越鸠聚首心越宽、越聚积边际越窄，举座变成一种叫作念"Gabor函数"（一种特定的数学波形）的图案。
这种斑马线滤镜的作用，是从大地纹理中"捕捞"出某一特定的空间频率因素——就像一个特定孔径的滤网，只让某种大小的颗粒通过。当机器东说念主在大地上转顷然，大地纹理被这个滤网"过滤"后产生的光信号，其回荡频率与机器东说念主的行进速率告成相关：走得越快，信号回荡越快；停驻来，信号也不再回荡。
从数学上说，这个旨趣不错这么理会：大地的空间纹理有各式各样的"空间频率"（就像声息有各式频率同样），当传感器以速率 v 转顷然，空间频率 ξ? 会被蜕变成时刻频率 f? = ξ? × v。只消能测出信号的回荡频率 f?，再除以已知的滤镜频率 ξ?，就能算出速率 v。
三、一个标的搞不定，四个传感器协同处分难题
不外，上头这个优雅的旨趣有一个致命的颓势：它只可告诉你速率的大小，却无法判断标的。原因在于，正弦波信号自身是对称的——无论机器东说念主上前也曾向后行走，产生的信号频率完全交流，就像一段旋律正放和倒放听起来节拍交流同样。
相关团队用一个颇为高明的要领处分了这个问题。他们引入了第二个传感器，其滤镜图案与第一个完全交流，但在空间上偏移了四分之一个条纹周期——这极端于把合并首歌的播放进程拨快了四分之一拍。这种偏移在信号处理规模叫作念"正交"，也即是两个信号之间恒久保持90度的相位差。
当机器东说念主上前走运，第一个传感器的信号"最先"第二个传感器90度；当向后走运，则反过来，第二个传感器"最先"第一个90度。通过判断哪个信号最先，就能细则通顺标的。这个旨趣与直流电机的编码器劳动方式相配相似，只不外这里是通过光学滤波而非机械来交游终了的。
开云kaiyun中国手机APP下载然而还有一个工程上的现实问题：光学滤镜的透过率只但是正数（你弗成让一块玻璃"负传光"），但Gabor函数的值有正有负。相关团队的处分决议是把每个Gabor滤镜一分为二：一块只保留碰劲部分，另一块只保留负值部分（等价于把负值变为碰劲再作念一块新滤镜）。将两块滤镜对应传感器的输出相减，就等价于使用了一块好意思满的、有正有负的Gabor滤镜。
这么一来，两个标的（余弦相和正弦相）各需要两块滤镜，整个恰好需要四块滤镜和四个光电二极管。这即是"四像素传感器"名字的由来——不是四百万像素，不是四万像素，即是实实在在的四个光感元件。
四、高度变化带来的纳闷，以及只怕的惊喜
在现实中，机器东说念主行走运未免震憾，车体相对大地的高度会跟着地形转化而变化。这对传感器来说是个不毛：高度变化会改变滤镜投影到大地上的推行尺寸，从而改变灵验的"捕捞频率"，让速率的策动出现偏差。
更复杂的是，四个光电二极管在物理上不可能完全叠放在全部，它们之间势必存在一定的间距。当高度发生变化时，四个传感器看到的大地区域会稍稍不同步，就像四双眼睛从不同角度看合并个物体时产生的视差。这种视差会影响两路信号之间的相位差，蓝本应该精确是90度的相位关系会随高度变化而偏移。
然而，相关团队发现这个"侵略"推行上蕴含着有用的信息：相位差的变化量与高度偏差之间存在一定的对应关系。换句话说，传感器的信号里不仅包含速率信息，还荫藏着高度变化的印迹。东说念主工智能模子有才略从这些混合在全部的信号中，同期学会速率和高度的关系，从而在速率测度上保持正经。
这个发现其后在实验中取得了考据。当模子在锻练时成心加入了各式程度的高度飞速扰动之后，它在推行测试时嘱咐震憾路面的才略明显优于那些只在固定高度下锻练的模子。以标称高度正负25%的范围进行飞速扰动锻练的模子，在同等测试条目下的速率测度均方根舛误仅为每秒0.048米，以至比只在标称高度锻练时的0.054米还要更好——这阐发限定的"侵略锻练"反而匡助模子学到了更深层的物理执法。
五、用模拟器和神经网罗联手"调教"传感器
知说念了传感器的劳动旨趣，接下来的问题是：Gabor滤镜的具体参数应该如何设定？条纹应该多密？高斯包络应该多宽？振幅应该多大？这些参数决定了传感器对哪个空间频率最明锐，AG真人中国官网登录入口也决定了它在各式大地纹理和通顺条目下的推崇。
相关团队的谜底是：不要手工猜度这些参数，让机器学习我方找到最优解。为此，他们构建了一个高度仿确切模拟器，能够模拟传感器在各式大地纹理、各式速率和旋转组合下产生的信号。模拟器使用了来自Matador数据集的约7200张高质料真实大地材质图像，涵盖57种材质类别，包括瓷砖、砖块、大理石、混凝土、地毯、碎石等等，保证了万般性。通顺轨迹则来自TartanGround数据集，笼罩杰出80公里、12小时的行驶记载，速率范围从静止到每秒5米，转弯角速率最高达每秒1弧度。
统统模拟管线是完全可微分的——这意味着舛误信号不错像电流同样从神经网罗一直反向流到Gabor滤镜的参数上，让滤镜参数和神经网罗参数同期被优化。这就好比你在设想一副眼镜的同期，也在锻练大脑读图的才略，两者互相谐和，共同进化。
解码速率的神经网罗取舍了时序卷积网罗（TCN）架构，领有约18.4万个参数——这个范围在深度学习里属于轻量级。网罗给与一秒钟的信号窗口（1000个时刻步的两路信号），通过层叠的膨胀卷积索取多顺次时刻特征，再经过一个看重力池化层——看重力机制的作用雷同于"自动调焦"，当信号质料差时自动裁减该时段的权重，幸免噪声侵略最终判断。临了，网罗不仅输出速率的测度值，还输出一个不细则度的量化目的，让系统知说念我方的测度有多大主理。
锻练对比实验骄慢，长入优化的Gabor参数（称为"学习型Gabor"）比手工设定参数的固定Gabor决议，均方根舛误裁减了29%，平均全齐舛误裁减了35%。而那些完全莫得Gabor握住、让神经网罗解下学习纵情滤镜模式的"解放像素"决议推崇最差——莫得了Gabor先验的握住，滤镜退化成了朦胧的黑点，网罗只可依靠四个传感器之间的时刻蔓延来障碍测度速率，精度大打扣头。
六、从实验室走向真实寰宇：920米的实战锻练
相关团队为四像素传感器制作了什物原型。四块Gabor滤镜图案被打印在透明胶片上，每块面积16×16平方毫米，装配在四个滨松S9119-01光电二极管前线，统统传感器阵列以2×2的方格排布，相邻二极管间距1.9厘米，二极管与滤镜之间距离11.4毫米，每个二极管领有70度的视场角。这套系统被装配在LeoRover差速启动机器东说念主的底部，距大地标称高度6厘米，朝向正下方。
为了嘱咐室内环境可能出现的横暴镜面反射，传感器外围加装了遮光罩；为了嘱咐阴郁的室内环境，机器东说念主底盘上吊挂了一盏低功耗LED灯（在室外或清朗迷漫的室内不开启）。整套传感系统的功耗仅为2.5毫瓦，而普通相机图像传感器的功耗普通在数百毫瓦量级——这意味着功耗裁减了两个数目级，也即是约莫消弱到百分之一以下。
实验阶段，团队在11条室内轨迹（共计618米，61分钟）和5条室外轨迹（共计306米，26分钟）上对机器东说念主进行了遥控测试，共计920米、87分钟的行驶数据。大地类型笼罩了瓷砖、大理石、地毯、混凝土、砖块、碎石等多种材质，环境从整洁的室内走廊到落魄的室外路面不等。
参考轨迹由装配在机器东说念主上的Intel RealSense D455深度相机谐和RTAB-Map视觉里程计软件生成，代表面前时刻条目下较为精确的参考基准。对比基线决议包括两种：纯轮式编码器里程计，以及编码器与IMU交融的里程计（与本系统使用交流的陀螺仪数据来测度转向角）。
量化遵循极端有劝服力。揣度轨迹举座几何一致性的平均全齐轨迹舛误（ATE）方面，纯编码器决议在室内平均舛误高达9.75米、室外14.09米，方差极大（顺次差杰出均值），阐发轮子打滑导致严重不褂讪；编码器加IMU交融后改善明显，室内0.75米、室外0.74米；而四像素传感器加IMU的决议，室内仅0.28米、室外0.42米，比编码器加IMU决议分手普及了约63%和43%。
揣度累积漂移的至极漂移率（端点舛误除以总行驶距离）方面，纯编码器决议室内高达25.60%、室外30.25%，简直无法实用；编码器加IMU决议室内1.62%、室外1.37%；四像素决议室内0.60%、室外0.62%，约为编码器加IMU决议的三分之一。
此外，相关团队还测试了不同更新频率下的性能推崇。当TCN以1000赫兹、100赫兹和30赫兹三种频率更新速率测度时，轨迹舛误的互异鸡毛蒜皮——从1000赫兹降到30赫兹，室内ATE基本不变，室外ATE仅从0.42米加多到0.44米。这阐发即便大幅裁减策动频率（从而进一步省俭算力），系统性能简直不受影响。
七、这套系统的劳动细节与工程处理
在推行信号处理经由上，外部数据积贮系统以41.6千赫兹的采样率对四路模拟信号进行数字化积贮。积贮后的信号先经过一个60赫兹的陷波滤波器，去除交流电照明（日光灯醒目）引入的侵略；再经过450赫兹的低通滤波器去除高频噪声；临了降采样至1000赫兹，送入TCN处理。
TCN使用1秒滑动窗口处理两路差分信号（每路1000个采样点），输出面前时刻的瞬时速率测度和对应的不细则度。系统会字据不细则度自动丢弃低置信度的速率测度，再用一个通俗的中值滤波器剔除瞬时荒谬值，临了将滤波后的线速率与来自RealSense D455相机IMU的陀螺仪偏航角速率交融，通过通俗的通顺学积分策动出平面轨迹。
值得看重的是，整套系统重新到尾完全依赖模拟数据锻练，莫得在职何真实寰宇数据上进行微调或再锻练。能够如斯告成地从模拟器移动到真实寰宇，一方面归功于模拟器对物理过程的雅致无比建模（包括探伤器有限面积导致的朦胧效应、标的反映函数、透视收缩效应、硬件增益、读出噪声、量化噪声和动态范围欺压），另一方面也成绩于锻练数据中丰富万般的纹理和通顺轨迹组合。
说到底，这项相关陈诉的是一个对于"够用就好"的故事。相关团队用四个比指甲盖还小的光感元件，加上一派打印在透明胶片上的斑纹，再谐和一个轻量级神经网罗，就终清澈比造价远高、功耗高大的轮式编码器决议更好的导航精度。这对资源受限的机器东说念主平台来说，意味着不错把省下来的电力和算力用于其他更要津的任务。
对于普通东说念主而言，这项相关的意旨可能体目下不远的将来：当你在病院走廊看到一台微小地穿梭送药的小机器东说念主，或者在仓库里见到一台络续劳动却不需要时时充电的搬运车，背后约略用的恰是雷同这么极简而精妙的感知决议。异日，相关团队野心将整套系统集成到定制镶嵌式芯片上，终了确凿的片上及时策动；同期也在探索将这套念念路扩展到无东说念主机等具有更多通顺解放度的平台，以及用于地形识别和碰撞预警等更平常的机器东说念主感知任务。
Q&A
Q1：四像素传感器靠什么旨趣来测量机器东说念主的移动速率？
A：传感器的每个光电二极管前边舍弃了一块具有特定条纹图案的光学滤镜（Gabor滤镜）。当机器东说念主在大地转顷然，大地纹理透过这块滤镜产生的光信号会发生执法性的回荡，回荡的频率与移动速率成正比——走得越快，信号回荡越快，停驻来则不再回荡。通过测量信号的回荡频率，就能反推出速率。
Q2：四像素传感器比普通录像头省几许电？
A：四像素传感器的举座功耗仅为2.5毫瓦，而普通相机的图像传感器普通耗尽数百毫瓦。两者收支约两个数目级，也即是说四像素决议的功耗约莫惟有普通录像头的百分之一，以至更低，对电板续航有显耀改善。
Q3：四像素传感器在室外崎岖抵挡的大地上还能准确劳动吗？
A：不错，但性能会略有着落。相关团队在锻练时专诚加入了传感器高度的飞速扰动来模拟震憾路面AG真人·(中国)官方网站，使神经网罗学会从信号的相位变化中推断高度偏移并修正速率测度。实验遵循骄慢室外轨迹舛误（0.42米）略高于室内（0.28米），但仍远优于传统轮式编码器加IMU决议（0.74米）。