V
主页
复杂驾驶中的人机交互!LMDrive:第一个基于LLM的闭环端到端自动驾驶!
发布人
复杂驾驶中的人机交互!LMDrive:第一个基于LLM的闭环端到端自动驾驶! #人工智能 #计算机视觉 #算法 #科技 #自动驾驶 在微信公众号「3DCV」回复:「原论文」,获取论文代码和链接,赶快学起来! 今天笔者为大家分享一篇最新的自动驾驶的开源工作LMDrive,是一种端到端的、闭环的、基于LLM的自动驾驶框架,通过多模态多视角传感器数据和自然语言指令与动态环境进行交互。尽管最近在自动驾驶领域取得了重大进展,但当遇到长尾不可预见事件和具有挑战性的城市场景时,现代方法仍然难以奏效,并可能导致严重事故。一方面,大型语言模型已经显示出接近人工智能的令人印象深刻的推理能力。另一方面,以往的自动驾驶方法往往依赖于有限格式的输入,限制了车辆对语言信息的理解能力和与人类的交互能力。为此,本文引入了LMDrive,一种新颖的语言引导、端到端、闭环的自动驾驶框架。LMDrive将多模态传感器数据与自然语言指令进行了独特的处理和集成,实现了在现实教学环境中与人类和导航软件的交互。想看更多关于3D视觉、SLAM,自动驾驶等科技前沿,请立即关注@3D视觉工坊
打开封面
下载高清视频
观看高清视频
视频下载器
闭环性能炸裂开源VADv2端到端矢量化自动驾驶新SOTA
亲测50帧!无需内参!超越Dust3r!Spann3r:无需优化对齐快速进行3D重建!
3.9k star!2张图片重建稠密3D场景!竟然还不需要相机内参!
牛津VGG团队最新开源!Flash3D:一张图像重建整个3D场景!通用性超强!
Sicence子刊,复杂环境下卷积网络实现端到端高速自主飞行!
无所不能!OASim基于3D GS的自动驾驶开源和自适应模拟器!
ECCV'24开源 !无惧遮挡、动态、光照变化!最鲁棒的3DGS震撼来袭!
浙大&阿里:用于自动驾驶的大规模神经场景渲染 [AAAI2023]
你可以控制图像中的一切!Image Sculpting:精确编辑图像中的任何目标!
NeRF巅峰之作!超快端到端MeshLRM 实现不到1s的高质量重建!
给任何模型上色!腾讯打通三维重建最后一关:高质量纹理生成!
当MVS遇上Gaussian MVSGaussian 快速、可泛化的高斯重建框架!
【附源码】2024最新53个大模型实战项目!练完即就业Ⅰ基础到框架Ⅰ适合小白入门_LLM_RAG_Agent_ChatGPT_Prompt
Mobile-Seed:联合语义分割和边缘检测!
CVPR'24 复旦最新3D交互大模型LL3DA来袭!
自动驾驶中的视觉感知技术
3DGS进化?2DGS颠覆3D场景重建!
端到端!首个开源视觉Transformer四旋翼控制避障方案!
中科院新作!即插即用的meshing模块!精确构建无动态mesh地图,还能纠正里程计!
三维重建大一统!LSM:无需先验位姿,首次实现实时语义3D重建!
CVPR 2024开源 VSRD:无需LiDAR和标注使用2D渲染解决3D检测的新范式!
【全374集】2024最新清华内部版!终于把AI大模型(LLM)讲清楚了!全程干货讲解,通俗易懂,拿走不谢!
中国科大 | 性能增强的四旋翼运动规划器用于复杂动态环境中的自主飞行
ECCV'24 | 更快更准!Meta最新FPV-NeRF:将NeRF完美应用FPV!
香港大学&南科大!通过基于模型的学习实现直接基于点的端到端机器人导航
Nature子刊!MARS实验室最新开源:基于LiDAR点流的运动事件检测!
相机标定的基本原理与经验分享
CVPR'24最佳学生论文亚军!新赛道!SpiderMatch:3D形状匹配
鲨疯了!最适合新手入门的【LLM医疗大模型】教程:医疗大模型LLM应用现状及如何微调一个医疗大模型?我竟然一天就搞懂了!
2024吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI),3天学完,让你少走99%弯路!
炸裂!超快超高精度!普通手机也能运行的实时NeRF!
ICRA2021,时间异步的多相机视觉SLAM系统,效果大幅提升,更符合实际情况(代码即将开源)
107 FPS!开源!结合ICP和3D GS构建最快的稠密SLAM!
南洋理工大学开源F-LOAM:最为精确和快速的开源激光SLAM方案之一
B站讲的最好的AI大模型实战(2024最新版)LLM+RAG系统+GPT-4o+OpenAI,全部都讲明白了!!
从零搭建一套结构光3D重建系统 [理论+源码+实践]
【导师散养不教】研究生1个月如何拿下SCI三区一作?基本套路+实操演示,手把手带你轻松搞定SCI论文!(SCI论文/SCI论文写作/人工智能)
YOLOV4用于道路交通口智能人流、车流监控
2024年吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI) 全程通俗易懂,别再走弯路了,逼自己一周学完,少走99%弯路,学不会我退出IT界!
斯坦福团队EquiBot:仅用 5 分钟演示,机器人就能学会日常操作