SingleStoreLoader

SingleStoreLoader 允许您直接从 SingleStore 数据库表加载文档。它是 langchain-singlestore 集成包的一部分。

概览

集成详情

类	包	JS 支持
SingleStoreLoader	langchain_singlestore	❌

特性

• 惰性加载文档以高效处理大型数据集。
• 支持原生异步操作。
• 可轻松配置以适配不同的数据库架构。

设置

要使用 SingleStoreLoader，您需要安装 langchain-singlestore 包。请遵循下方的安装说明。

安装

安装 langchain_singlestore。

%pip install -qU langchain_singlestore

初始化

要初始化 SingleStoreLoader，您需要提供 SingleStore 数据库的连接参数，并指定要从中加载文档的表和字段。

必需参数：

• host (str)：数据库的主机名、IP 地址或 URL。
• table_name (str): 要查询的表名。默认为 embeddings。
• content_field (str): 包含文档内容的字段。默认值为 content。
• metadata_field（str）：包含文档元数据的字段。默认值为 metadata。

可选参数：

• id_field (str)：包含文档 ID 的字段。默认为 id。

连接池参数：

• pool_size（int）：池中活动连接的数量。默认值为 5。
• max_overflow（int）：超出 pool_size 的最大连接数。默认值为 10。
• 超时 (float)：连接超时时间（秒）。默认值为 30。

其他选项：

• pure_python (bool)：启用纯 Python 模式。
• local_infile (bool)：允许本地文件上传。
• charset (str): 字符串值的字符集。
• ssl_key、ssl_cert、ssl_ca（str）：SSL 文件的路径。
• ssl_disabled (bool)：禁用 SSL。
• ssl_verify_cert (bool): 验证服务器的证书。
• ssl_verify_identity (bool)：验证服务器身份。
• autocommit (bool)：启用自动提交。
• results_type（str）：查询结果的结构（例如：tuples、dicts）。

from langchain_singlestore.document_loaders import SingleStoreLoader

loader = SingleStoreLoader(
    host="127.0.0.1:3306/db",
    table_name="documents",
    content_field="content",
    metadata_field="metadata",
    id_field="id",
)

加载

docs = loader.load()
docs[0]

print(docs[0].metadata)

懒加载

page = []
for doc in loader.lazy_load():
    page.append(doc)
    if len(page) >= 10:
        # do some paged operation, e.g.
        # index.upsert(page)

        page = []

API 参考

有关所有 SingleStore 文档加载器功能和配置的详细文档，请前往 GitHub 页面：https://github.com/singlestore-labs/langchain-singlestore/

相关

• 文档加载器 概念指南
• 文档加载器 操操作指南