V
主页
如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲(双语字幕)
发布人
如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲(双语字幕) 演讲者:Yejin Choi,华盛顿大学教授、麦克阿瑟奖学金获得者,同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的,他们训练了一个 0.5B 参数的小模型做文档摘要任务,超过了GPT-3.5。 按照演讲者的结论:AI 的性能,至少在目前的形态下,取决于它的训练数据。因此,过去和现在的 AI 主要依赖于人类生成的数据,但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高,可能存在偏见,但是,越来越多的证据表明,这种方法是有效的。 例如,使用 Meta 的 SAM(Segment Anything)进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助,但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据,例如教科书级别的数据,经过合成,你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面,它并不像大型模型那样具有广泛的适用性,但这对于满足许多商业需求来说是非常出色的。你可能不需要通才,你可能需要专家。 此外,"Textbooks are all you need"论文的观点也证明了,数据质量是最重要的。这并不仅仅关乎数量,更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢?很大程度上是因为它有更好的图像标注。但是,究竟是哪些更好的图像标注呢?在此之前,我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以,AI 的质量更关乎数据的质量、新颖性和多样性,而不仅仅是数量。 原始视频来源:https://www.youtube.com/watch?v=OBkMbPpLCqw
打开封面
下载高清视频
观看高清视频
视频下载器
AI 视频:两小儿辩日
号称第一个 AI 工程师的 Devin,估值 20亿美元,CEO Scott Wu 的一段访谈
真的超容易“搞深度学习神经网络到底怎么改代码的啊?”复旦博士教我用一本书搞定!
陶哲轩在2024年国际数学奥林匹克(IMO)的演讲:AI 与数学
斯坦福大学教授李飞飞在2024年数据与人工智能峰会上的人工智能历史与未来演讲(双语字幕)
苹果的交互做的是真牛,看这实时根据公式生成图表的交互
Geoffrey Hinton 对 AI 未来的见解(双语字幕)
梅琳达·盖茨在斯坦福 2024 毕业典礼上的演讲 —— 三个建议:开放的心态面对人生大的转变、找到你人生中的贵人和成为别人的贵人、经营好自己的关系网
马克·扎克伯格的形象大转变
OpenAI 真的发生了什么?前董事会成员 Helen Toner 打破沉默,透露了 Sam Altman 被解雇的惊人新细节
日本 AI 算力大跃进,我国却遭 “断芯锁算”,算力之战何去何从?AI大模型算力 GPU
爽翻了!用ai一键生成小说投到平台成功签约单日稿费五六百!
让 OpenAI o1 写一个贪吃蛇的网页游戏,这不算什么,但是后面让它在网格中添加障碍物,并且连在一起是 A I 两个字母,这确实有了一点智能的样子了
OpenAI 最新的 o1 模型写代码能力的演示
今日难绷!《感觉马斯克变性大儿子和特朗普小儿子很适合联姻》…
马云对话马斯克:人工智能对人类是机遇还是威胁?(双语字幕)
我就说AI取代不了人类吧
扎克伯格更担心某些我们不信任的人掌握了超级 AI,有了优秀的开源 AI 反而可以帮助引领标准,确保一个更公平、更均衡的竞争环境,达到平衡
比尔盖茨在1992年向别人解释为什么说计算机是比书本更高级的互动
Telegram十亿用户市场无人问津?微软AI月访破6000万!
战双露娜170cm的机器人,长高了的露娜,长大了的露娜,来到现实的露娜,露娜,腿部稍微动一下
GPT-4o 教你说中文,绝对会把老外带偏的
不再需要游戏攻略,直接游戏中集成 Copilot,随时随地问 AI 游戏攻略
OpenAI 新的 o1 模型通过推理可以解密出来加密扭曲前的韩文
小机器人拐走12台大机器人
(超爽中英!) 2024公认最全的【吴恩达大模型LLM】系列教程!附代码_LangChain_微调ChatGPT提示词_RAG模型应用_agent_生成式AI
当万物都需要辨别真假,AI带来的还是便利吗?!
嫌 GPT-4o 语音速度太快?可以让它语速慢下来。太慢?可以说快一点!快慢随心。
WWDC24: 将您的机器学习和AI模型移植到Apple silicon | Apple
如果地球上的所有人向月球照射激光会发生什么?
机械手爬行
教你3h写一份完美的生涯发展报告
吴恩达:AI 智能体工作流的未来展望
17岁的天才高中生
小扎认为 Llama 会成为开源 AI 的行业标杆,就像当年的 Linux 一样
【双语精校】Sam Altman:新发布的推理模型 o1 preview 相当于 GPT-2 时刻,但是升级曲线会很陡峭,很快就会达到它的 GPT-4 时刻
Unreal 用自然语言控制AI驱动的NPC
如何写好提示词?(上)
一行代码不写搞定开发和上线|Cursor + Devbox|AI写代码|全栈开发|Docker|K8S
马克·扎克伯格前几天接受了Robin Kallaway的采访,讨论了未来的技术发展,尤其是智能眼镜、神经腕带和 AI 技术在创作者和小企业中的应用