Skip to main content
Open In ColabOpen on GitHub

微软 SharePoint

Microsoft SharePoint is a website-based collaboration system that uses workflow applications, “list” databases, and other web parts and security features to empower business teams to work together developed by Microsoft.

本笔记本介绍如何从 SharePoint 文档库 加载文档。默认情况下，文档加载器会加载 pdf、doc、docx 和 txt 类文件。您可以通过提供相应的解析器来加载其他文件类型（详见下文）。

先决条件​

  1. 按照Microsoft 身份平台的说明注册应用程序。
  2. 注册完成后，Azure 门户会显示应用注册的“概述”窗格。您将看到“应用程序 (客户端) ID"。该值也称为client ID，用于在 Microsoft 身份平台中唯一标识您的应用程序。
  3. 在您遵循第 1 项的步骤期间，您可以将重定向 URI 设置为https://login.microsoftonline.com/common/oauth2/nativeclient
  4. 在您将在第 1 项中执行的步骤期间，请在“应用程序密钥”部分生成一个新密码（client_secret）。
  5. 请按照此文档中的说明，将以下SCOPES（offline_access和Sites.Read.All）添加到您的应用程序中。
  6. 要从您的文档库检索文件，您需要其 ID。要获取它，您需要 Tenant Name、Collection ID 和 Subsite ID 的值。
  7. 要找到您的Tenant Name，请按照此文档中的说明操作。获取后，只需从值中移除.onmicrosoft.com，并将剩余部分保留为您的Tenant Name。
  8. 要获取您的 Collection ID 和 Subsite ID，您需要您的 SharePoint site-name。您的 SharePoint 站点 URL 格式如下：https://<tenant-name>.sharepoint.com/sites/<site-name>。此 URL 的最后一部分是 site-name。
  9. 要获取站点 Collection ID，请在浏览器中访问此 URL：https://<tenant>.sharepoint.com/sites/<site-name>/_api/site/id 并复制 Edm.Guid 属性的值。
  10. 要获取 Subsite ID（或 Web ID），请使用：https://<tenant>.sharepoint.com/sites/<site-name>/_api/web/id 并复制 Edm.Guid 属性的值。
  11. SharePoint site ID 的格式如下：<tenant-name>.sharepoint.com,<Collection ID>,<subsite ID>。您可以保留该值以便在下一步中使用。
  12. 访问 Graph Explorer Playground 以获取您的 Document Library ID。第一步是确保您已使用与 SharePoint 站点关联的账户登录。然后，您需要向 https://graph.microsoft.com/v1.0/sites/<SharePoint site ID>/drive 发出请求，响应将返回一个负载，其中包含字段 id，该字段保存您的 Document Library ID 的 ID。

🧑 从 SharePoint 文档库导入文档的说明​

🔑 身份验证

默认情况下，SharePointLoader 期望 CLIENT_ID 和 CLIENT_SECRET 的值分别存储为名为 O365_CLIENT_ID 和 O365_CLIENT_SECRET 的环境变量。您可以通过应用程序根目录下的 .env 文件传递这些环境变量，或在脚本中使用以下命令。

os.environ['O365_CLIENT_ID'] = "YOUR CLIENT ID"
os.environ['O365_CLIENT_SECRET'] = "YOUR CLIENT SECRET"

此加载器使用一种名为代表用户的身份验证。这是一种需要用户同意的两步身份验证。当您实例化该加载器时，它将打印一个 URL，用户必须访问该 URL 以授予应用程序所需的权限。然后，用户必须访问此 URL 并同意该应用程序。接着，用户必须复制结果页面的 URL 并将其粘贴回控制台。如果登录尝试成功，该方法将返回 True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID")
API 参考：SharePointLoader

一旦完成身份验证，加载器会将令牌（o365_token.txt）存储在 ~/.credentials/ 文件夹中。此令牌可在日后用于身份验证，无需执行前述的复制/粘贴步骤。要使用此令牌进行身份验证，您需要在实例化加载器时将 auth_with_token 参数设置为 True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
API 参考：SharePointLoader

🗂️ 文档加载器​

📑 从文档库目录加载文档​

SharePointLoader 可以从您的文档库中的特定文件夹加载文档。例如，您想加载存储在文档库中 Documents/marketing 文件夹内的所有文档。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", folder_path="Documents/marketing", auth_with_token=True)
documents = loader.load()
API 参考：SharePointLoader

如果您收到错误 Resource not found for the segment，请尝试使用从 Microsoft Graph API 获取的 folder_id，而不是文件夹路径。

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True
                          folder_id="<folder-id>")
documents = loader.load()

如果您希望从根目录加载文档，可以省略 folder_id、folder_path 和 documents_ids，加载器将加载根目录。

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
documents = loader.load()

结合 recursive=True，您可以简单地加载整个 SharePoint 中的所有文档：

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID",
                          recursive=True,
                          auth_with_token=True)
documents = loader.load()

📑 从文档 ID 列表加载文档​

另一种可能性是为每个要加载的文档提供一个 object_id 列表。为此，您需要查询 Microsoft Graph API 以查找所有您感兴趣的文档 ID。此 链接 提供了一系列有助于检索文档 ID 的端点。

例如，要检索存储在 data/finance/ 文件夹中的所有对象的信息，您需要向以下地址发出请求：https://graph.microsoft.com/v1.0/drives/<document-library-id>/root:/data/finance:/children。一旦获得了您感兴趣的 ID 列表，就可以使用以下参数实例化加载器。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()
API 参考：SharePointLoader

📑 选择支持的文件类型和首选解析器​

默认情况下，SharePointLoader 会使用默认解析器（见下文）加载 document_loaders/parsers/registry 中定义的文件类型。

def _get_default_parser() -> BaseBlobParser:
    """Get default mime-type based parser."""
    return MimeTypeBasedParser(
        handlers={
            "application/pdf": PyMuPDFParser(),
            "text/plain": TextParser(),
            "application/msword": MsWordParser(),
            "application/vnd.openxmlformats-officedocument.wordprocessingml.document": (
                MsWordParser()
            ),
        },
        fallback_parser=None,
    )

您可以通过向 SharePointLoader 传递 handlers 参数来覆盖此行为。 传递一个字典，将文件扩展名（如 "doc"、"pdf" 等） 或 MIME 类型（如 "application/pdf"、"text/plain" 等）映射到解析器。 请注意，您必须单独使用文件扩展名或 MIME 类型， 不能混合使用。

文件扩展名请勿包含前导点。

# using file extensions:
handlers = {
    "doc": MsWordParser(),
    "pdf": PDFMinerParser(),
    "mp3": OpenAIWhisperParser()
}

# using MIME types:
handlers = {
    "application/msword": MsWordParser(),
    "application/pdf": PDFMinerParser(),
    "audio/mpeg": OpenAIWhisperParser()
}

loader = SharePointLoader(document_library_id="...",
                            handlers=handlers # pass handlers to SharePointLoader
                            )

如果多个文件扩展名映射到相同的 MIME 类型，则将应用字典中的最后一项。 示例：

# 'jpg' and 'jpeg' both map to 'image/jpeg' MIME type. SecondParser() will be used 
# to parse all jpg/jpeg files.
handlers = {
    "jpg": FirstParser(),
    "jpeg": SecondParser()
}