V
主页
论文阅读分享:Matryoshka Representation Learning(2024.2.2,@布朗熊检索实验室)
发布人
论文概述:Matryoshka Representation Learning (MRL) 的创新之处在于能够创建一种灵活的表示方法,这种表示方法可以根据不同的下游任务和它们所需的计算资源来调整自身。想象一下,就像那些俄罗斯套娃(Matryoshka)一样,MRL能够在同一个嵌入(embedding)中编码不同层次的信息,这样就可以根据任务需要提取不同粒度的信息,而不需要改变原有的学习流程或者在推理和部署时增加额外的成本。 这种方法的好处有三个方面: 1. 对于像ImageNet-1K这样的图像分类任务,它可以使嵌入的大小减小多达14倍,同时保持相同的准确率。 2. 在ImageNet-1K和4K等大规模检索任务中,实现了多达14倍的实际速度提升。 3. 对于少样本长尾分类任务,可以提高多达2%的准确率,同时保持与原始表示一样的鲁棒性。 最后,这篇论文还展示了MRL如何无缝地扩展到网页规模的数据集(如ImageNet, JFT)以及不同的模态——包括视觉(ViT, ResNet)、视觉+语言(ALIGN)和语言(BERT)。作者还开源了MRL的代码和预训练模型,这意味着其他研究者和开发者可以直接使用这些资源。简而言之,MRL提供了一种更加灵活、高效且实用的方法来处理机器学习中的表示学习问题。 论文链接:https://arxiv.org/abs/2205.13147
打开封面
下载高清视频
观看高清视频
视频下载器
Deepseek-Coder:国产大模型开源之光(2024.2.16,@思在)
我从来不用自己剪视频,因为我会用AI
大模型数据生成和微调神器:DataDreamer(24.4.20,@王几行XING)
这可能是B站最完整的Transformer讲解了!一口气学完DETR⽬标检测、DETR项⽬源码解读、项⽬源码debug逐⾏解读、注意⼒机制的作⽤分析-人工智能
Self-RAG 基于LangGraph 的实现(2024.2.2,@王几行XING)
大模型推断和使用的公平性讨论(24.4.19,@申奥)
论文阅读: Do Embodied Agents Dream of Pixelated Sleep? (2024.1.21,@李宇)
最新的ChatGPT o1就是强,直接给我干沉默了
大语言模型中的token是什么?
Qwen大模型本地部署教程!无需GPU,只要5G内存!超简单的部署教程,本地微调一个法律大模型,附安装包和微调文档!
Python 生成式AI 课程 - Learn Python, Generative AI, APIs, ChatGPT, Gemini & more
测试用例自动化智能体开发速战营(一)
P-Tuning v2 论文解读(2024.1.21,@master)
【P8级AI写代码工具】Cursor进阶教程:手把手教你开发可注册登录的AI网站。
吴恩达《软件开发的生成式AI技能(简介、结对编程、数据库设计-3课全)Generative AI for Software Development Skill》
大模型如何大幅改进 Embedding?(2024.1.21,知乎@Sam多吃青菜)
导师散养,论文没有头绪?顶会审稿人手把手教你如何1个月拿下SCI三区论文,轻松搞定大小论文!(研究生毕业论文/SCI论文)
科研必备!Zotero看这一个视频就够啦|论文管理神器零基础入门级|内含AI、翻译等多插件使用
【论文导读】Qwen-VL
《蚂蚁在 RAG 与向量检索上的实践》2024稀土开发者大会-AI Agent 与应用创新
【高级自然语言处理 11-711 2024】卡耐基梅隆—中英字幕
【精校】AI大神Andrej Karpathy最新九月面对面访谈@NoPriors 【中英字幕】
【喂饭教程】8分钟学会微调大模型Qwen2,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~
通俗理解OpenAI O1的技术和应用
DoReMi:大模型预训练数据,如何根据来源配比?(2024.2.16,@suc16 )
“显微镜”下的RAG:通过 RAGChecker 进行细粒度诊断评估
【大模型LLM】Meta最新发布的Llama3.2来了!Llama3.2的八点重要信息总结,支持多模态,手机也能用!
【全48集】目前B站最全最细的Llama3零基础全套教程,Llama3微调-量化-部署-应用实例解读七天就能从小白到大神!少走99%的弯路!存下吧!很难找全的!
强推!目前B站最全最细的LlamaIndex零基础全套课程,大模型实战系列,全流程解读分析,包含所有干货!七天就能从小白到大神!存下吧!简直比刷剧还爽!
Ollama一键本地部署!免费开源 AI 助手 Ollama 从安装到微调,保姆级新手教程,100%保证成功,完全零代码轻松实现!
【LLM大模型+RAG】2024大模型RAG企业项目实战:从零开始搭建一套完整的RAG系统,理论+原理+代码深入解析!(附课件教程)
毕设有救了!3小时你玩转NLP核心框架—BERT模型,基于BERT模型的文本分类、情感分析及中文命名实体识别实战教程!人工智能/深度学习/机器学习/神经网络
多模态+自动驾驶综述:A Survey on MMLM for Autonomous Driving(Aki,24.1.7)
(超爽中英!) 2024公认最好的【Agent智能体】系列教程!附课件代码 Building Your Own Database Agent
大模型知道自己知道什么吗?(2024.3.16, @Zoe)
200元显卡大战Qwen2.5-32B,垃圾佬也想跑本地大模型,P104双卡Linux下Ollama跑Local LLM
【Stable Diffusion】5款极品涩涩大模型推荐 ,绝对好用!绅士都在用的SD大模型 新手小白必备 福利大放送!(附资料)
1.2~1.7章-TicTacToe经典问题
【多模态+大模型+知识图谱】2024完整版:这绝对是B站最全的教程,论文创新点终于解决了!——人工智能/深度学习/aigc/计算机视觉
吴恩达大佬又出新课了!《Hugging Face中的开源模型》双语字幕,16集全,建议收藏!-huggingface、开源模型、吴恩达