Marqo
本页面介绍如何在 LangChain 中使用 Marqo 生态系统。
什么是Marqo?
Marqo 是一个张量搜索引擎,它利用存储在内存中的 HNSW 索引的嵌入来实现前沿的搜索速度。Marqo 可以通过水平索引分片扩展到亿级文档索引,并允许异步和非阻塞的数据上传与搜索。Marqo 使用来自 PyTorch、Huggingface、OpenAI 等的最新机器学习模型。您可以从预配置模型开始,也可以使用自己的模型。内置的 ONNX 支持和转换功能可提高在 CPU 和 GPU 上的推理速度和吞吐量。
因为 Marqo 包含自己的推理功能,您的文档可以混合文本和图像,您可以将来自其他系统的数据的 Marqo 索引引入 langchain 生态系统,而无需担心嵌入的兼容性问题。
Marqo 的部署非常灵活,您可以使用我们的 Docker 镜像自行开始,或者联系我们了解我们的托管云服务!
要使用我们的 Docker 镜像在本地运行 Marqo,请参阅我们的入门指南。
安装与设置
- 使用
pip install marqo安装 Python SDK
包装器
VectorStore
Marqo 索引有一个封装器,允许您在向量存储框架中使用它们。Marqo 让您可以从一系列模型中选择用于生成嵌入的模型,并公开了一些预处理配置。
Marqo向量存储还可以与现有的多模态索引一起使用,您的文档中可以混合图像和文本。有关更多信息,请参阅我们的文档。请注意,如果使用现有的多模态索引来实例化Marqo向量存储,则会禁用通过langchain向量存储的add_texts方法向其添加任何新文档的功能。
要导入此向量存储:
from langchain_community.vectorstores import Marqo
API 参考:Marqo
有关Marqo包装器及其一些独特功能的更详细演练,请参见此笔记本