V
主页
京东 11.11 红包
卡耐基梅隆大学 MidasTouch——一个用于在线全局定位的视触觉感知系统
发布人
项目主页:https://suddhu.github.io/midastouch-tactile/ 摘要:我们提出了MidasTouch,一个用于在线全局定位的触觉感知系统,该系统基于在物体表面上滑动的视觉触感传感器。该框架接收随时间变化的触觉图像,并输出传感器在物体表面上的姿态分布,而无需视觉先验信息。我们的关键洞见是利用触觉感测估计局部表面几何形状,学习其紧凑表示,并在长时间范围内消除这些信号的歧义。MidasTouch的核心是一个蒙特卡罗粒子滤波器,其测量模型基于从触觉模拟中学习的触觉编码网络。这个网络受到LIDAR地点识别的启发,紧凑地总结了局部表面几何形状。这些生成的代码被有效地与每个对象的预计算触觉代码本进行比较,以更新姿态分布。我们进一步发布了YCB-Slide数据集,包含真实世界和模拟的力滑动接触,涉及基于视觉的触感传感器和标准YCB对象。尽管单次触摸定位可能本质上具有歧义性,但我们可以通过遍历显著的表面几何特征快速定位我们的传感器。
打开封面
下载高清视频
观看高清视频
视频下载器
卡耐基梅隆 Neural Feels with Neural Fields: 视觉-触觉感知在手持操纵中的应用
Efficiently Modeling Long Sequences with Structured State Space 结构化状态空间模型用于长时序建模
【卡耐基梅隆 SIGGRAPH2024】调和函数的球面追踪算法
【卡耐基梅隆大学SIGGRAPH2024】Laplacian is All You Need :计算符号距离的扩散方法
将偏微分算子以多分辨率方式集成到神经网络架构中,用于时空预测 || Seminar on May 3, 2024
卡耐基梅隆大学 Monte Carlo Geometry Processing
ECCV 2024 GeoCalib 结合几何优化的单图像相机标定学习方法
卡耐基梅隆大学&英伟达 Walk on Stars:无网格蒙特卡洛方法用于物理仿真求解PDE 【借鉴图形学中的光线追踪
数据驱动的基于物理的降阶模型
2024年你不能错过的五个3D Gaussian Splatting应用
现代Hopfield神经网络对Transformers架构的解释及其拓展
Cristina Cipriani: 一种用于训练神经ODE和自编码ODE的平均场最优控制方法
SIGGRAPH高分经典论文 变分表面切割 纹理映射新思路
从基于物理的建模到科学机器学习的预测性数字孪生
差分Transformer
TransferLab Seminar 生成式模型的条件流匹配方法 - AlexTong
杜克大学 SonicSense 基于手持式声学传感的物体感知
ICLR 2024 Spotlight 扩散模型用于运动生成
SE(3)-随机流匹配用于蛋白质骨架生成
SIGGRAPH2024【地形制作】 采用多尺度侵蚀进行可控的地形放大
CVPR 2024 Oral 两张图片估计相对相机姿态
【CMU SIGGRAPH2022】基于扩散层的三维表面学习
数据驱动的物理隐变量发现
双热点强强联合的发文方向:Transformer+强化学习!
数据驱动降阶模型的概率方法与不确定性量化
Mamba+YOLO优势互补,检测精度碾压所有传统YOLO!
Dr.Jit 可微分渲染的即时编译器【抛弃神经网络】
Dobb·E 一个开源的家庭机器人操作臂端到端学习训练框架
深度学习中的隐式偏差——上海交大许志钦
CVPR 2024 Highlight 从视频中进行类别无关的交互手和物体三维重建
慕尼黑工业大学提出SupeRVol: 逆向体积渲染中的超分辨率形状和反射率估计
KAN真的能取代MLP吗
北京大学 吴磊研究员:从动力稳定性角度理解随机梯度下降的隐式正则化
【直播回放】具身智能系列之感知技术课程
谱图理论简要入门
关于3D Gaussian Splatting的六个实用编辑工具
Diffusion Policy 结合 PPO 模仿+强化 (下)
这可能是我见过强化学习和模型预测控制最好的教程!四大名校教授精讲动态系统和仿真、最优控制、策略梯度方法、MPC
【MPC+强化学习】四大名校教授精讲强化学习和模型预测控制18讲!Actor Critic模型预测控制、策略梯度方法
【具身论文阅读】Diffuser: 基于diffusion的强化学习规划器