V
主页
Jim Fan:在开放世界中的通用智能体
发布人
开场:见证 AlphaGo 战胜李世石的历史时刻 Jim Fan 分享了他在 2016 年见证 AlphaGo 战胜李世石的经历,那一刻 AI 智能体成为主流,令人激动不已。但 AlphaGo 只会下围棋,不能像人类一样多才多艺。我们期望 AI 能像科幻电影中那样,能够适应各种虚拟和现实世界。 研究地图:通往通用 AI 智能体之路 通往通用 AI 智能体的研究可以从掌握技能数量、可控实体数量和理解现实世界数量三个维度来看。Jim 创立了 NVIDIA 的 GEAR 实验室,致力于通用化身智能体研究,希望最终达到右上角的目标。 通用智能体的三大特征 通用智能体需要具备三大特征:能在开放世界中探索、拥有海量世界知识、能执行无数任务。因此需要足够开放的环境、大规模预训练数据和强大的基础模型。 "我的世界"作为通用智能体发展的沙盒 "我的世界"是一个开放、可塑性强的游戏,非常适合作为开发通用 AI 的环境。庞大的玩家基数每天产生海量数据。NVIDIA 推出 MineDojo 框架,旨在利用"我的世界"开发通用 AI,包含模拟器 API、互联网知识数据库和 MineCLIP 等模型。 Voyager:GPT-4 驱动的自主探索者 GPT-4 模型的问世使得 Voyager 这样的智能体成为可能。Voyager 将编程作为行动,能够在"我的世界"中自主探索数小时,通过反思机制不断掌握新技能,在获取新物品的驱动下持续学习进化。 MetaMorph:适应多种形态的机器人控制器 MetaMorph 旨在创建一个适用于成千上万种不同构型机器人的基础模型。它将机器人形态表示为语言序列,使用 Transformer 模型学习通用策略,展现了跨形态的零样本迁移能力。 Isaac Sim:GPU 加速的虚拟世界 Isaac Sim 能以 1000 倍速运行物理模拟,生成无限复杂精细的虚拟世界。Eureka 智能体展现了超人的机器人灵巧性。混合梯度架构使用语言引导强化学习,自动优化奖励函数。未来 Eureka++ 有望成为全自动机器人开发平台。 Groot:人形机器人的基础模型 NVIDIA 推出 Groot 项目,目标是为最通用的人形机器人构建基础模型,使其能在不同实体间迁移。训练过程类似 ChatGPT,通过在海量环境中训练来获得通用性。Groot 将与 OSMO 等基础设施共同构建生态系统,有望使类人机器人真正有用。 问答环节 问答环节涉及以下主题: MineCLIP 和 Dreamery3 的任务训练结合 MetaMorph 与 GAN 框架的关系 NVIDIA 对 GEAR 实验室的定位和合作伙伴 技术产业和学校合作培养学生 智能体如何学习物理知识 Eureka 发现新技能的能力 将研究从实验室应用到现实世界的挑战 Jim 对这些问题一一进行了解答和讨论,提出了自己的见解。 完整文稿:https://baoyu.io/translations/transcript/generally-capable-agents-in-open-ended-worlds
打开封面
下载高清视频
观看高清视频
视频下载器
(超爽中英!) 2024公认最好的【Agent智能体】系列教程!带你从0到1构建自己的智能体!
什么是AI智能体?
【Coze教程】手把手教零基础10分钟学会用Coze手搓Agent智能体,让你轻松搭建AI智能体应用!
【精华35分钟】这应该是全网AI Agent讲解得最透彻的教程了,从什么是Agent到创建自己的Agent智能体!一次搞懂!大模型/LLM
面向所有人的生成式 AI 入门课程 4 - 什么是生成式 AI - AI 是一种通用技术
【up自制开源】30分钟拥有自己的具身智能触觉系统!柔性触觉不再遥不可及
智能体Coze教程第三课,提取小红书笔记+OCR识别+自动写入飞书
【全289集】这才是科研人该学的,目标检测六大算法R-CNN、Fast R-CNN、YOLO、SSD等等一口气学完,全程通俗易懂!-人工智能/目标检测/YOLO
【36氪】机器人暴打机器人?现在的行业风口具身智能到底是个啥?
前方高能,这27个变态AI,一定要偷偷用起来!
一起学多 AI 智能体系统(双语字幕)- 3. 什么是 AI 智能体
如果我不讲你都不会感兴趣~细看 Ola Friend 智能体耳机!
3步让AI接管你的电脑【claude最新API使用教程】
图像分割、目标检测、特征提取、边缘检测、图像滤波、人脸识别...终于有人把OpenCV那些必备的知识点讲透彻了!从入门到图像处理实战!
【附源码】2024最新53个大模型实战项目!练完即就业Ⅰ基础到框架Ⅰ适合小白入门_LLM_RAG_Agent_ChatGPT_Prompt
扣子界面大更新之更新了个啥?
华东交通大学第十三届校智能车竞赛(光电竞速)
认识新晋 AI 机器人亿万富翁
上海交大张伟楠机器学习课程第2讲:线性模型V
【主题演讲】微软CEO萨提亚·纳德拉(Satya Nadella) AI 巡回演讲主题演讲:伦敦|2024.10.22
不会写代码,能用AI编程吗?我用Cursor开发了9款产品!
智能体Coze教程第四课,企业智能客服
AI 大模型周报 2024年11月 c
通用人工智能是否已经到来?
【全463集】禁止自学走弯路!环境感知、目标检测、语义分割、强化学习、决策与控制算法等八大自动驾驶核心算法一口气学完!
喂饭教程!25分钟本地部署Qwen2大模型:配置、微调、部署+效果展示,带你训练自己的行业大模型!
AutoCodeRover —— 自动修复 Bug 智能体
你的GPT4降智了?更勤奋更聪明的GPT-4o来了!
详细剖析源码帮助你快速构建自己的工作流,FastAPI+CrewAI+MySQL+Celery实现AI Agent复杂工作流,支持gpt、国产、本地大模型
【2024最新】自然语言处理(NLP)文本分类实战,一天练完,从零基础入门到精通再到实战,超详细的保姆级教程!!附开源项目
马云:人工智能和机器人无法控制人类
【机器人数学 ROB501 2022】密歇根大学—中英字幕
美国AI可能走入死胡同,OpenAI新模型遇到无法控制的错误
吴恩达谈AI智能体工作流程及其推动AI进步的潜力(双语字幕)
百胜中国-肯德基/必胜客等餐饮行业解决方案
震惊!AI教父李开复最新演讲曝光:GPT-4已过时,未来手表能听懂人话?
扣子Coze智能体新手速成2.0:工作流实操+案例
【人物访谈】10月29日,马斯克接受访谈:AI能力每年至少增长10倍,2028年左右具备所有人类的综合能力|2024.10.29
深度学习如何高效炼丹?
如何写好提示词?(上)