V
主页
LLama3.1成功的秘诀和带来的启示
发布人
Meta 公司发布了史上最强的开源大模型——Llama 3.1 这是个405B 模型。今天,我就来为大家总结一下关于这个模型的关键点以及它给我们带来的启示。 首先,Llama 3.1 的第一个重要特色,它是目前为止最大最有效的开源模型,拥有 4050 亿参数。要知道,GBT4 是万亿级别的参数,而Llama 3.1405B 模型可直接对标 目前最好的闭源模型GBT4。 这次也同时发布了一本长达 92 页的 PDF 详细介绍了该模型。仔细查看技术报告就会发现,数据工作至关重要,大量篇幅都在讲数据,包括数据的收集、处理、构造、清洗以及配比等工作,对模型效果影响重大。 而反观模型结构,新模型与旧模型没有本质区别,在结构上没有太多创新点。 最后是定向能力的提升。为了让模型具备数学、推理、写代码以及灵活调用各类工具的能力,Meta 在技术报告中展示了大量工作。这些能力提升的重点还是在数据上,比如收集、处理和筛选高质量数据来训练相应能力。 这个模型的提出,给我们带来了不少启示。直观来看,它重新开启了开源和闭源模型之间的竞争。在它出来之前,开源一直被认为落后于闭源。但有了Llama 3.1 模型后,格局可能会彻底改变,因为它的性能可与 GBT4 媲美,在此基础上进行微调或调整,在某些领域甚至可能超过 GBT4 ,对开发者来说是重大利好。 而且,根据以往经验,只要llama一有新的开源发布,国内大模型就会立马跟着进步。Llama 3.1 405B 模型的诞生,有可能极大加速中文大模型的开发进度。虽然目前发布的模型以英文为主,对中文不太友好,但通过持续训练等方法,有可能将其改造为有效的中文大模型。 Meta 此次还同步发布了新的 8B 和 70B 模型,这些模型支持 128K 的上下文,128K 的上下文大小也满足了绝大多数需求,这个对RAG等场景是一个重大利好。 此外,Meta 还公开了非常完整的将近 100 页的技术报告,涵盖了详细的数据相关细节,包括数据的准备、处理、收集,以及如何用 AI 方法构造数据等,对模型微调非常有价值。 那么,Llama 3.1405B 模型成功的主要原因是什么呢?首先是模型的大小,模型越大性能越好。其次是数据大小,405B 模型使用了 15T 的 TOKEN,而 LLama 2 仅使用 1.8T 的 TOKEN,数据量扩大了近10倍。其实啊,最重要最核心的还是数据!
打开封面
下载高清视频
观看高清视频
视频下载器
【精校】AI提示词工程深入探讨| Anthropic官方圆桌 2024.9【中英字幕】
苹果诠释真正的开源;小模型时代拉开帷幕
它到底做了什么?OpenAI成功的秘密
百度要放弃基础通用大模型的研发了?
让提示词变异 攻破大模型
大模型是何种智能?
从黑神话悟空看游戏行业对人工智能的发展
中国AI的短板,走一条自己的路
迪士尼的高分辨率"换脸"算法令人细思极恐,电影明星可以随意换了
大模型其实没有逻辑能力
当AI进化到可以反问后
李飞飞团队重磅开源ReKep:万能具身机器人!实时交互,还可搭载GPT-4o!在微信公众号「3D视觉
AI中医对决32年老中医,中医也被AI攻破了
ChatGPT 将势不可挡:OpenAI 草莓计划惊人新细节曝光!揭秘 AI 新进展!
字节跳动不讲武德,偷袭OpenAI,OpenAI反向封号
详解:Agent到底是什么?会成为下一个热潮吗?-北大博士后人工智能专家卢菁博士授课 人工智能|大模型|多模态|AIGC
【最新整理】4小时精讲-ChatGLM部署和微调【训练自己的AI助手】ChatGLM全系解析,北京大学卢菁博士授课 AI Agent
【B站独家教程】从零训练自己的大模型 仅使用Pytorch,从零手撸一个大模型。手把手教你用PyTorch从零训练自己的大模型(非常详细)零基础入门到精通
加州人工智能AI法案《前沿人工智能模型安全创新法案》引发硅谷“分裂”!该法案旨在为训练成本超过1亿美元,建立明确安全标准!
AI的进化让我看到了郭德纲与赵本山全英文交流!
大模型的困境:两年热度未催生爆款应用!
【卢菁老师说】人类的智力本质就是神经网络
太离谱了,Google最强AI突然问世,吊打GPT4 就在刚刚Google突然发布了最新大语言模型Gemini,登上Ai界天花板,从此GPT4被打下擂台,新的神
【卢菁老师说】拜登振华?助力中国芯片产业
外网爆火的大模型黑书!基于GPT-3、ChatGPT、GPT-4等 Transformer 架构的自然语言处理
沃顿商学院教授:每个机构都充斥着秘密的半机器人! 他们用AI完成工作但不会告诉你!
ChatGPT解读西游记,你觉得有道理吗?
〔麻省理工Neture发表新作〕,颠覆传统神经网络,19个神经元驾驶一辆车
当一个外国小姐姐把ChatGPT接入菲比精灵玩具,发现了一个人工智能的“惊天阴谋”#人工智能
算法闻到榴莲臭!Science:AI嗅觉超人类,谷歌绘出50万气味图谱
超实用的大模型应用开发流程-如何快速搭建一个大模型?-卢菁博士授课-LLM|大模型应用|大模型微调|大模型实战
还得看吴恩达!一口气讲透CNN、RNN、GAN、LSTM、YOLO、transformer等六大深度学习神经网路算法!真的不要太爽~(AI人工智能丨机器学习)
AI玩的是概率,强求百分百准确是超低性价比的做法。即使不准确,也有办法
大模型技术综述一览-北大博士后人工智能专家卢菁博士授课 1.大模型的技术架构 2.大模型微调的主流方法集合 3.大模型和大数据的关系 4.GPU并行计算以及如何
如果人工智能AI 取代了所有工作,社会将变成这样!人工智能技术
大模型的训练门槛被复旦大学打下来了
最新大模型技术详解:深度解析GPT-4o 英伟达开源最强模型Nemotron-4 340B 通义千问2.0和GLM4.0详解-卢菁博士授课
把大模型做小,是爱好,也是信仰! Openai创始成员周末开发 babyllama 只为验证在轻量级
219从chatgpt看nlp发展的脉络以及未来的启示
一觉醒来,程序员自己把自己干掉了。就在刚刚,世界上第一位AI程序员Devin诞生。直接引爆整个科技圈