V
主页
嵌入,语义搜索 Embedding SentenceTransformers— 库介绍
发布人
嵌入 语义搜索 Embedding sentencetransformer SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。 可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。 该框架基于 PyTorch 和 Transformers,并提供了大量针对各种任务的预训练模型。 还可以很容易根据自己的模型进行微调。 阅读论文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks,深入了解模型的训练方式。 在本文中,我们将看到该库的一些可能用例的代码示例。 模型训练将在后面的文章中介绍。 安装。 在深入研究代码之前,使用pip安装sentencetransformer库。 pip install -U sentence-transformers。 获得嵌入向量。 第一个例子是如何获得句子嵌入。 sentencetransformer使它变得非常简单:只需要导入库、加载模型,并调用encode方法。 语义文本相似度。 一旦我们有了句子的嵌入,我们就可以使用util模块中的cos_sim函数来计算它们的余弦相似度。 语义搜索。 语义搜索通过理解搜索查询的内容来提高搜索的准确性,而不是仅仅依赖于词汇匹配。 这是利用嵌入之间的相似性完成的。 语义搜索是将语料库中的所有条目嵌入到向量空间中。 在搜索时,查询也会被嵌入到相同的向量空间中,并从语料库中找到最接近的嵌入。 向量空间中语义搜索的例子。 语义搜索可以使用util模块的semantic_search函数来执行,该函数处理语料库中文档的嵌入和查询的嵌入。 为了充分利用语义搜索,必须区分对称和非对称语义搜索,因为它会严重影响要使用的模型的选择。 Paraphrase Mining。 Paraphrase Mining是在大量句子中寻找释义的任务,即具有非常相似含义的文本。 这可以使用 util 模块的 paraphrase_mining 函数来实现。 图片搜索。 SentenceTransformers 提供允许将图像和文本嵌入到同一向量空间,通过这中模型可以找到相似的图像以及实现图像搜索,即使用文本搜索图像,反之亦然。 同一向量空间中的文本和图像示例。 要执行图像搜索,需要加载像 CLIP 这样的模型,并使用其encode 方法对图像和文本进行编码。 多模态模型获得的嵌入也允许执行图像相似性等任务。 其他任务。 1、对于问答检索等复杂的搜索任务,可以通过使用 Retrieve & Re-Rank 显著改进语义搜索。 Retrieve & Re-Rank 架构。 2、SentenceTransformers 可以以不同的方式用于对小或大的句子集进行聚类。 对文档进行主题建模示例。 最后 SentenceTransformers的官网:见原文链接。 https://www.toutiao.com/article/7053418911366267423/?channel=&source=search_tab
打开封面
下载高清视频
观看高清视频
视频下载器
微调和嵌入的区别 Fine-tunning和Embedding的区别
智能数据库工具 《Chat2DB》 ChatGPT赋能SQL
遥 遥 领 先
真的超容易“搞深度学习神经网络到底怎么改代码的啊?”复旦博士教我用一本书搞定!
Anything LLM+Ollama 知识本地库
【全126集】目前B站最系统的Transformer教程!入门到进阶,全程干货讲解!拿走不谢!(神经网络/NLP/注意力机制/大模型/GPT/RNN)
太厉害了 已跪!终于有人能把知识图谱讲的这么通俗易懂了,浙大知识图谱入门及实战公开课分享!-深度学习丨NLP丨知识图谱
【ChatGPT4.0手机版】国内无需魔法,无限次数使用教程来了!
【MATLAB论文复现】研一研二必看!MATLAB论文如何从代码到公式完整复现?看完这个你就彻底懂了!草履虫都能学会!
神经网络背后的概率理论
【200集付费】一口气学完回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机、神经网络等十二大机器学习算法一次性学完!
每个初学深度学习的小伙伴只需要学这三个项目!学完以后可以说没有什么深度学习代码能够难住你!
yolov5工创赛圆环识别(11500张数据集)
绝了,这个网站居然可以直接找到别人复现好的代码
图像分割、目标检测、特征提取、边缘检测、图像滤波、人脸识别...终于有人把OpenCV那些必备的知识点讲透彻了!从入门到图像处理实战!
用AI写文章必看!一条指令彻底去除AI味!轻松写出爆款!【全网独家】深层解析AI底层原理!
原理代码讲解|条纹卷积注意力 AAAI2024 缓解CNN与Transformer特征之间的语义差距 即插即用模块【V1代码讲解058】
(超爽中英!) 2024公认最好的【Agent智能体】系列教程!带你从0到1构建自己的智能体!
LangChain + GLM =本地知识库
keras之父从谷歌离职 tensorflow彻底败给了pytorch
【全463集】禁止自学走弯路!环境感知、目标检测、语义分割、强化学习、决策与控制算法等八大自动驾驶核心算法一口气学完!
强推!火遍全网的【斯坦福公开课】CS324:Large Language Models,值得所有学生收藏,推荐学习!(课程籽料)-NLP/大模型/LLM/ML
manim所有深奥的数学公式,变成动画片
【ChatGPT应用开发】langchain 长文本总结,分词,多次总结
超越GPT-4o mini!北大开源国产多模态版o1,超强视觉推理惊呆网友
用AI把双城之战的角色变成写实版,但大部分低配
【GPT基础】【解读】什么是transformer模型及其工作原理
能有多牛被300多万人浏览的我问题”对于神经网络,硕士博士不需要弄明白原理,只需要应用,是这样吗?“
什么是单词和句子嵌入?【万物皆可嵌入:用向量表示物体。】Embeddings人机语言转换
【MATLAB论文复现】研一研二必看!MATLAB论文如何从代码到公式完整复现?看完这个你就彻底懂了!草履虫都能学会!
精通Transformer!带你从零开始构建最先进的NLP模型!初学者必看的入门书籍-大模型/自然语言处理/NLP
大语言模型攻击概览
人工智能需要哪些高级的数学知识?
爽翻了!用ai一键生成小说投到平台成功签约单日稿费五六百!
还是太全面了!NLP十天起飞,一口气学完文本分类、文本摘要、机器翻译、知识图谱、情感分析等十大技术点!算法原理+论文解读,草履虫都能学会!大模型|机器学习
用《NLP大脑操作技术》掌管你的搭讪焦虑,克服恐惧
真的超容易“搞深度学习神经网络到底怎么改代码的啊?”复旦博士教我用一本书搞定!
一个视频讲清楚研究生如何用好ChatGPT(科研绘图、论文撰写投稿、数学建模等)
我在B站上大学!【完整版-麻省理工-微积分重点】全18讲!学数学不看的微积分课程,看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学
10块钱教AI写代码 ,ChatGLM写代码。 LLaMA 大语言 alpaca 数据集 alpaca-lora 高效 训练自己的GPT写代码