如何进行工具/函数调用

信息

我们交替使用"工具调用"和"函数调用"这两个术语。尽管"函数调用"有时特指单个函数的调用，但我们视所有模型为能够在每条消息中返回多个工具或函数调用。

工具调用允许模型通过生成与用户定义模式匹配的输出来响应给定的提示。虽然名称暗示模型正在执行某些操作，但实际上并非如此！模型是在构思工具的参数，而是否实际运行该工具（或不运行）则由用户决定——例如，如果您希望从非结构化文本中提取匹配某种模式的输出，您可以为模型提供一个“提取”工具，其参数与所需模式相匹配，然后将生成的输出视为最终结果。

工具调用包含名称、参数字典以及一个可选的标识符。参数字典的结构为 {argument_name: argument_value}。

许多大语言模型提供商，包括 Anthropic、 Cohere、Google、 Mistral、OpenAI 等，都支持工具调用功能的变体。这些功能通常允许向 LLM 的请求包含可用工具及其模式，并允许响应中包含对这些工具的调用。例如，给定一个搜索引擎工具，LLM 可能会通过首先调用搜索引擎来处理查询。调用大语言模型的系统可以接收工具调用，执行该调用，并将输出返回给大语言模型以告知其响应。LangChain 包含一套内置工具并支持多种方法用于定义您自己的自定义工具。工具调用对于构建使用工具的链和智能体极其有用，并且更广泛地用于从模型中获取结构化输出。

不同的提供商采用不同的约定来格式化工具模式和工具调用。例如，Anthropic 将工具调用作为解析后的结构返回，包含在更大的内容块中：

[
  {
    "text": "<thinking>\nI should use a tool.\n</thinking>",
    "type": "text"
  },
  {
    "id": "id_value",
    "input": {"arg_name": "arg_value"},
    "name": "tool_name",
    "type": "tool_use"
  }
]

尽管 OpenAI 将工具调用分离为一个独立的参数，并以 JSON 字符串形式传递参数：

{
  "tool_calls": [
    {
      "id": "id_value",
      "function": {
        "arguments": '{"arg_name": "arg_value"}',
        "name": "tool_name"
      },
      "type": "function"
    }
  ]
}

LangChain 实现了标准接口，用于定义工具、将它们传递给大语言模型（LLM），以及表示工具调用。

将工具传递给LLM

支持工具调用功能的聊天模型实现了一个 .bind_tools 方法，该方法接收一个 LangChain 工具对象列表，并将它们以预期的格式绑定到聊天模型上。后续对聊天模型的调用将在其发送给 LLM 的请求中包含工具模式。

例如，我们可以使用 @tool 装饰器为自定义工具定义模式对 Python 函数：

from langchain_core.tools import tool


@tool
def add(a: int, b: int) -> int:
    """Adds a and b."""
    return a + b


@tool
def multiply(a: int, b: int) -> int:
    """Multiplies a and b."""
    return a * b


tools = [add, multiply]

API 参考:工具

或如下，我们使用 Pydantic 定义模式：

from pydantic import BaseModel, Field


# Note that the docstrings here are crucial, as they will be passed along
# to the model along with the class name.
class Add(BaseModel):
    """Add two integers together."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


class Multiply(BaseModel):
    """Multiply two integers together."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


tools = [Add, Multiply]

我们可以将它们绑定到聊天模型，如下所示：

选择聊天模型:

pip install -qU "langchain[openai]"

import getpass
import os

if not os.environ.get("OPENAI_API_KEY"):
  os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter API key for OpenAI: ")

from langchain.chat_models import init_chat_model

llm = init_chat_model("gpt-4o-mini", model_provider="openai")

我们可以使用 bind_tools() 方法来处理将 Multiply 转换为“工具”并将其绑定到模型（即，在每次调用模型时传入该工具）。

llm_with_tools = llm.bind_tools(tools)

工具调用

如果 LLM 响应中包含工具调用，它们将作为工具调用对象列表附加到对应的消息或消息块中，位于 .tool_calls 属性下。ToolCall 是一个类型化字典，包含工具名称、参数值的字典以及（可选地）一个标识符。没有工具调用的消息默认将该属性设为空列表。

示例：

query = "What is 3 * 12? Also, what is 11 + 49?"

llm_with_tools.invoke(query).tool_calls

[{'name': 'Multiply',
  'args': {'a': 3, 'b': 12},
  'id': 'call_1Tdp5wUXbYQzpkBoagGXqUTo'},
 {'name': 'Add',
  'args': {'a': 11, 'b': 49},
  'id': 'call_k9v09vYioS3X0Qg35zESuUKI'}]

.tool_calls 属性应包含有效的工具调用。请注意，有时模型提供商可能会输出格式错误的工具调用（例如，参数不是有效的 JSON）。当在这些情况下解析失败时，InvalidToolCall 的实例会被填充到 .invalid_tool_calls 属性中。InvalidToolCall 可以具有名称、字符串参数、标识符和错误消息。

如果 desired，输出解析器可以进一步处理输出。例如，我们可以将其转换回原始的 Pydantic 类：

from langchain_core.output_parsers.openai_tools import PydanticToolsParser

chain = llm_with_tools | PydanticToolsParser(tools=[Multiply, Add])
chain.invoke(query)

API 参考:Pydantic工具解析器

[Multiply(a=3, b=12), Add(a=11, b=49)]

流式传输

当在流式上下文中调用工具时，消息块将通过 .tool_call_chunks 属性以列表形式填充包含工具调用块对象的列表。ToolCallChunk 包含用于工具的可选字符串字段 name、args 和 id，并包含一个可选的整数字段 index，可用于将块连接在一起。字段是可选的，因为工具调用的部分可能会跨不同的块进行流式传输（例如，包含参数子串的块可能具有工具名称和 ID 的空值）。

因为消息块继承自其父消息类，所以带有工具调用块的AIMessageChunk也将包含.tool_calls和.invalid_tool_calls字段。这些字段是从消息的工具调用块中尽力解析出来的。

请注意，并非所有提供者当前都支持工具调用的流式传输。

示例：

async for chunk in llm_with_tools.astream(query):
    print(chunk.tool_call_chunks)

[]
[{'name': 'Multiply', 'args': '', 'id': 'call_d39MsxKM5cmeGJOoYKdGBgzc', 'index': 0}]
[{'name': None, 'args': '{"a"', 'id': None, 'index': 0}]
[{'name': None, 'args': ': 3, ', 'id': None, 'index': 0}]
[{'name': None, 'args': '"b": 1', 'id': None, 'index': 0}]
[{'name': None, 'args': '2}', 'id': None, 'index': 0}]
[{'name': 'Add', 'args': '', 'id': 'call_QJpdxD9AehKbdXzMHxgDMMhs', 'index': 1}]
[{'name': None, 'args': '{"a"', 'id': None, 'index': 1}]
[{'name': None, 'args': ': 11,', 'id': None, 'index': 1}]
[{'name': None, 'args': ' "b": ', 'id': None, 'index': 1}]
[{'name': None, 'args': '49}', 'id': None, 'index': 1}]
[]

请注意，添加消息块将合并其对应的工具调用块。这是 LangChain 的各种工具输出解析器支持流式传输的原理。

例如，下面我们累积工具调用块：

first = True
async for chunk in llm_with_tools.astream(query):
    if first:
        gathered = chunk
        first = False
    else:
        gathered = gathered + chunk

    print(gathered.tool_call_chunks)

[]
[{'name': 'Multiply', 'args': '', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}]
[{'name': 'Multiply', 'args': '{"a"', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}]
[{'name': 'Multiply', 'args': '{"a": 3, ', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 1', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}, {'name': 'Add', 'args': '', 'id': 'call_tYHYdEV2YBvzDcSCiFCExNvw', 'index': 1}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}, {'name': 'Add', 'args': '{"a"', 'id': 'call_tYHYdEV2YBvzDcSCiFCExNvw', 'index': 1}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}, {'name': 'Add', 'args': '{"a": 11,', 'id': 'call_tYHYdEV2YBvzDcSCiFCExNvw', 'index': 1}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}, {'name': 'Add', 'args': '{"a": 11, "b": ', 'id': 'call_tYHYdEV2YBvzDcSCiFCExNvw', 'index': 1}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}, {'name': 'Add', 'args': '{"a": 11, "b": 49}', 'id': 'call_tYHYdEV2YBvzDcSCiFCExNvw', 'index': 1}]
[{'name': 'Multiply', 'args': '{"a": 3, "b": 12}', 'id': 'call_erKtz8z3e681cmxYKbRof0NS', 'index': 0}, {'name': 'Add', 'args': '{"a": 11, "b": 49}', 'id': 'call_tYHYdEV2YBvzDcSCiFCExNvw', 'index': 1}]

print(type(gathered.tool_call_chunks[0]["args"]))

<class 'str'>

下面我们累积工具调用以演示部分解析：

first = True
async for chunk in llm_with_tools.astream(query):
    if first:
        gathered = chunk
        first = False
    else:
        gathered = gathered + chunk

    print(gathered.tool_calls)

[]
[]
[{'name': 'Multiply', 'args': {}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}]
[{'name': 'Multiply', 'args': {'a': 3}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 1}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}, {'name': 'Add', 'args': {}, 'id': 'call_UjSHJKROSAw2BDc8cp9cSv4i'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}, {'name': 'Add', 'args': {'a': 11}, 'id': 'call_UjSHJKROSAw2BDc8cp9cSv4i'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}, {'name': 'Add', 'args': {'a': 11}, 'id': 'call_UjSHJKROSAw2BDc8cp9cSv4i'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}, {'name': 'Add', 'args': {'a': 11, 'b': 49}, 'id': 'call_UjSHJKROSAw2BDc8cp9cSv4i'}]
[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_BXqUtt6jYCwR1DguqpS2ehP0'}, {'name': 'Add', 'args': {'a': 11, 'b': 49}, 'id': 'call_UjSHJKROSAw2BDc8cp9cSv4i'}]

print(type(gathered.tool_calls[0]["args"]))

<class 'dict'>

将工具输出传递给模型

如果我们使用模型生成的工具调用来实际调用工具，并希望将工具结果传回给模型，我们可以使用 ToolMessages 来实现。

from langchain_core.messages import HumanMessage, ToolMessage

messages = [HumanMessage(query)]
ai_msg = llm_with_tools.invoke(messages)
messages.append(ai_msg)
for tool_call in ai_msg.tool_calls:
    selected_tool = {"add": add, "multiply": multiply}[tool_call["name"].lower()]
    tool_output = selected_tool.invoke(tool_call["args"])
    messages.append(ToolMessage(tool_output, tool_call_id=tool_call["id"]))
messages

API 参考:人类消息 |工具消息

[HumanMessage(content='What is 3 * 12? Also, what is 11 + 49?'),
 AIMessage(content='', additional_kwargs={'tool_calls': [{'id': 'call_K5DsWEmgt6D08EI9AFu9NaL1', 'function': {'arguments': '{"a": 3, "b": 12}', 'name': 'Multiply'}, 'type': 'function'}, {'id': 'call_qywVrsplg0ZMv7LHYYMjyG81', 'function': {'arguments': '{"a": 11, "b": 49}', 'name': 'Add'}, 'type': 'function'}]}, response_metadata={'token_usage': {'completion_tokens': 50, 'prompt_tokens': 105, 'total_tokens': 155}, 'model_name': 'gpt-3.5-turbo', 'system_fingerprint': 'fp_b28b39ffa8', 'finish_reason': 'tool_calls', 'logprobs': None}, id='run-1a0b8cdd-9221-4d94-b2ed-5701f67ce9fe-0', tool_calls=[{'name': 'Multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_K5DsWEmgt6D08EI9AFu9NaL1'}, {'name': 'Add', 'args': {'a': 11, 'b': 49}, 'id': 'call_qywVrsplg0ZMv7LHYYMjyG81'}]),
 ToolMessage(content='36', tool_call_id='call_K5DsWEmgt6D08EI9AFu9NaL1'),
 ToolMessage(content='60', tool_call_id='call_qywVrsplg0ZMv7LHYYMjyG81')]

llm_with_tools.invoke(messages)

AIMessage(content='3 * 12 is 36 and 11 + 49 is 60.', response_metadata={'token_usage': {'completion_tokens': 18, 'prompt_tokens': 171, 'total_tokens': 189}, 'model_name': 'gpt-3.5-turbo', 'system_fingerprint': 'fp_b28b39ffa8', 'finish_reason': 'stop', 'logprobs': None}, id='run-a6c8093c-b16a-4c92-8308-7c9ac998118c-0')

少样本提示

对于更复杂的工具使用，向提示词添加少样本示例非常有用。我们可以通过在提示词中添加带有AIMessage的ToolCalls和对应的ToolMessages来实现这一点。

例如，即使有一些特殊指令，我们的模型也可能因运算顺序而出现问题：

llm_with_tools.invoke(
    "Whats 119 times 8 minus 20. Don't do any math yourself, only use tools for math. Respect order of operations"
).tool_calls

[{'name': 'Multiply',
  'args': {'a': 119, 'b': 8},
  'id': 'call_Dl3FXRVkQCFW4sUNYOe4rFr7'},
 {'name': 'Add',
  'args': {'a': 952, 'b': -20},
  'id': 'call_n03l4hmka7VZTCiP387Wud2C'}]

模型还不应尝试添加任何内容，因为它在技术上还无法知道 119 * 8 的结果。

通过添加包含一些示例的提示，我们可以纠正这种行为：

from langchain_core.messages import AIMessage
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

examples = [
    HumanMessage(
        "What's the product of 317253 and 128472 plus four", name="example_user"
    ),
    AIMessage(
        "",
        name="example_assistant",
        tool_calls=[
            {"name": "Multiply", "args": {"x": 317253, "y": 128472}, "id": "1"}
        ],
    ),
    ToolMessage("16505054784", tool_call_id="1"),
    AIMessage(
        "",
        name="example_assistant",
        tool_calls=[{"name": "Add", "args": {"x": 16505054784, "y": 4}, "id": "2"}],
    ),
    ToolMessage("16505054788", tool_call_id="2"),
    AIMessage(
        "The product of 317253 and 128472 plus four is 16505054788",
        name="example_assistant",
    ),
]

system = """You are bad at math but are an expert at using a calculator. 

Use past tool usage as an example of how to correctly use the tools."""
few_shot_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system),
        *examples,
        ("human", "{query}"),
    ]
)

chain = {"query": RunnablePassthrough()} | few_shot_prompt | llm_with_tools
chain.invoke("Whats 119 times 8 minus 20").tool_calls

API 参考:AI 消息 |聊天提示模板 |可运行传递器

[{'name': 'Multiply',
  'args': {'a': 119, 'b': 8},
  'id': 'call_MoSgwzIhPxhclfygkYaKIsGZ'}]

看来我们这次得到了正确的输出。

这就是 LangSmith 追踪的样子。

下一步

输出解析: 查看 OpenAI Tools 输出解析器以了解如何将函数调用 API 响应提取为各种格式。
结构化输出链: 某些模型具有构造函数，可以为您处理结构化输出链的创建。
工具使用: 了解如何在这些指南中构建调用所调用工具的链和智能体。

将工具传递给LLM​

工具调用​

流式传输​

将工具输出传递给模型​

少样本提示​

下一步​

将工具传递给LLM

工具调用

流式传输

将工具输出传递给模型

少样本提示

下一步