V
主页
【Stanford 博士论文答辩】 MAUI: 多模态AI增强用户界面开发架构
发布人
用户界面的未来在于多模态交互,用户可以使用语音、手势和图形界面与应用程序轻松通信。然而,当前的多模态界面受限于有限的功能、高昂的开发成本以及应用程序之间不一致的标准。为了应对这些挑战,我们引入了MAUI,一种多模态AI增强用户界面开发架构。MAUI架构提供了一种实现多模态交互的整体方法,允许多模态开发框架使用AI模型处理多模态输入和输出的复杂性。这使得开发人员可以专注于通过可组合的抽象提供特定领域的信息。我们在MAUI架构下提出了两个框架,用于处理用户的显式直接指令和从行为和反馈中隐式推断的偏好。 ReactGenie引入了面向对象的状态抽象和自然语言编程语言(NLPL),允许用户通过利用现有的GUI代码直接发出丰富的多模态命令。AMMA框架采用用户建模方法来处理隐式用户交互。它将观察结果和指导调整映射到目标性能指标,允许系统学习最佳的实时调整,例如根据行为数据适应正确的模态。MAUI架构使开发人员不仅能够创建更丰富、更具适应性的多模态体验,而且与现有方法相比,所需的努力也大大减少。
打开封面
下载高清视频
观看高清视频
视频下载器
博士毕业答辩:Beth Karlin Ph.D. Thesis Defense From MIT @ AI Field
最怕老师突如其来的提问,医学博士也不例外!
多模态论文串讲·上【论文精读·46】
姚顺雨-语言智能体博士答辩 Language Agents: From Next-Token Prediction to Digital Automation
博士学位论文答辩
UNSW-ISTM PhD Video Interview | Yun ZHANG
恺明大佬问答环节:AI自动驾驶可靠吗?
天才AI学者何恺明
奥特曼现身斯坦福演讲,GPT-5会让一切努力过时
汤家凤现场展示博士证明
当武忠祥老师被查房
中科院院长与副院长争相与我握手
小张博士代尔夫特理工大学博士答辩
博士毕业答辩录像2019.6.1
我的博士学位论文答辩纪念视频
【斯坦福团队耗时两年!AI交互系统】CHI 24 ReactGenie: 使用大型语言模型开发多模态交互的开发框架
宇哥的博士答辩,哈哈,没错,就是考研数学老师张宇
博士学位论文答辩
博士答辩顺利通过,我的学生时代结束了。有时候选择需要要求,而选择坚持,更需要勇气。
程序员大佬去面试,根本不需要简历
小样本杀疯了,成功登上Nature!无需标记的识别,准确率就超过90%!强烈建议每一位深度学习初学者熬夜阅读
论文速读12:iKUN
统计 | 曾是谷歌高级研究科学家,将于2024年1月加入华盛顿大学计算机系任助理教授【麻省理工MIT博士答辩】——Natasha Jaques
复旦普通博士生的博士论文答辩全景式记录暨与何教授史诗级会晤现场
MIT数学博士:来这儿上学之前,我以为自己是天才
【纪录片】智慧中国:前沿科学 01 守护地球
[中英字幕] KAN 论文一作 刘子鸣 亲自讲解 Kolmogorov-Arnold Networks
女生参观师哥师姐预答辩现场,舌战群儒讨论激烈大开眼界:高端局
何恺明:科研总是让人感到沮丧的
伤害性不大,侮辱性极强
第一次去他家,挺急的……
Query + Do: Calculate tip for a delivery app
Keep: Compare battery prices between Amazon and Walmart
区区两篇nature而已!!!!!!
北美某教授边做饭边决定是否给PhD申请者发Offer [全英语]
【麻省理工(MIT)博士答辩:可解释深度神经网络】——大卫·鲍(David Bau)
AI大讲堂:深度学习要变天?专业拆解【KAN网络】
Query: Insert 2FA code to a website
梦游者:用 VR 在现实世界中走路(发表于 UIST 2019)
消失近2个月 因为科研出成果啦!通义小行星防御AI科普正式上线!生活Update