V
主页
【斯坦福团队耗时两年!AI交互系统】CHI 24 ReactGenie: 使用大型语言模型开发多模态交互的开发框架
发布人
前两天在 CHI 2024 的论文演讲 通过结合语音和触控交互,多模态界面可以超越单一模态的效率。传统的多模态框架需要开发人员进行繁重的工作,以支持用户多模态命令中可能包含的指数组合的操作/功能调用。本文提出了ReactGenie,一个编程框架,它更好地将多模态输入与计算模型分离,使开发人员能够轻松创建高效且功能强大的多模态界面。ReactGenie使用基于大型语言模型的神经语义解析器,将多模态用户命令翻译成我们创建的编程语言NLPL(自然语言编程语言)。ReactGenie运行时解释解析后的NLPL,并在计算模型中组合原语以实现复杂的用户命令。因此,ReactGenie允许轻松实现并为多模态应用的终端用户提供前所未有的丰富命令。我们的评估表明,12名开发人员平均在不到2.5小时内可以学习并构建一个非平凡的ReactGenie应用程序。此外,与传统的图形用户界面相比,终端用户使用ReactGenie应用程序完成任务的速度更快,任务负担更小。
打开封面
下载高清视频
观看高清视频
视频下载器
【NeurIPS2024 Oral】VAR:使用next scale prediction,基于自回归架构的图片生成模型
2024年吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI) 全程通俗易懂,别再走弯路了,逼自己一周学完,少走99%弯路,学不会我退出IT界!
标星15.4K,普林斯顿大学博士手敲3万行代码的深度学习项目,直接拿去用!
(CVPR 2024)即插即用多尺度注意力机制MAB模块,即用即涨点起飞
2024吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI),3天学完,让你少走99%弯路!
学术报告-大语言模型的知识学习研究-黄书剑-南京大学自然语言处理组
2024逼自己一周学会AI大模型(LLM+RAG系统+GPT-4o+OpenAI),全程通俗易懂,别再走弯路了,学不会我退出IT界!
🌈【开源多端】Vue3框架,统一开发体验,多端应用轻松构建!国内首个纯净Vue3框架,电脑手机平板一网打尽!
上海交大严骏驰教授 From Think2Drive to Bench2Drive:从闭环强化学习首解CARLA V2到闭环端到端评测工具与生态
神经网络杀疯了,登上nature:35年首次被证明具有泛化能力,能像人类一样思考!人工智能/机器学习/神经网络/深度学习/计算机视觉
(2024深度学习小白必看)手把手教你怎么将模块缝合到模型中
小波变换+CNN完美融合,最新idea发了CV顶会!这思路简直绝了!
【把手弄脏】LoRA 原理与代码实现(讲了挺多细节的)--make our hands dirty;
【STM32终极开发环境搭建教程04】CMake_Ninja构建系统介绍
Telegram十亿用户市场无人问津?微软AI月访破6000万!
【Agent+RAG】10小时博士精讲AI Agent(人工智能体)系列—提示工程、文本大模型、GPT...
一镜到底,AI帮我写个管理后台。前端不要学了。
即插即用双重交叉注意力机制DCA,涨点起飞
【交互设计 专项课程】圣地亚哥大学—中英字幕
搭建自己的语音对话大模型 | ASR+LLM+TTS串联
Openai CEO你一个人就可以干出独角兽
(超爽中英!) 2024公认最全的【吴恩达大模型LLM】系列教程!附代码_LangChain_微调ChatGPT提示词_RAG模型应用_agent_生成式AI
所有研究生快步跟上!起因就是这本联合了斯坦福、微软、UCLA和华盛顿大学以及李飞飞撰写的论文综述!——人工智能/机器学习/深度学习
我为CV工程师开发了一款VSCode插件
导师推荐的数据库!4个神级代码复现网站,里面99%的论文都能找到!
真的超容易“搞深度学习神经网络到底怎么改代码的啊?”复旦博士教我用一本书搞定!
AI 大模型周报 2024年11月 c
尝试谈谈我的学习方法
一行代码不写搞定开发和上线|Cursor + Devbox|AI写代码|全栈开发|Docker|K8S
无限制聊天ai 超多角色可以游玩 堪比星野的ai聊天软件
85、Differential Transformer 论文原理逐段讲解
强到离谱!一年轻松发6篇综述SCI!B站最全SCI论文写作指导教程,研究生SCI论文从写作到发表全过程精讲,太适合小白了!人工智能|SCI|论文写作
高区论文带读系列一-40分钟长视频带你分析一篇SCI1区的文章,SCI1区也不是触不可及!
1 个问题,24 种编程语言 | 不同编程语言解决问题的差异性和相似性
软件测试的尽头,就是框架的设计与研发!一个视频说明软件架构设计-核心关键点和底层逻辑
强烈建议大家来找我们文科女研谈恋爱
用AI写文章必看!一条指令彻底去除AI味!轻松写出爆款!【全网独家】深层解析AI底层原理!
马斯克的AI大模型五分钟上手!每月25美元免费额度!
深度学习论文被评“创新性不足、工作量不够”怎么办? -人工智能/深度学习/机器学习
【AI大模型】3天构建一个AI Chatbot聊天机器人,2025版最系统全面的AI大模型教程(LLM+RAG+Open AI+GPT+生成式AI)