Skip to main content
Open on GitHub

Infino

Infino is an open-source observability platform that stores both metrics and application logs together.

Infino 的主要功能包括：

  • 指标跟踪: 捕获LLM模型处理请求所花费的时间、错误信息、标记数量以及特定LLM的成本指示。
  • 数据追踪: 记录并存储每次LangChain交互的提示、请求和响应数据。
  • 图可视化: 生成随时间变化的基本图表，展示请求持续时间、错误发生次数、标记数量和成本等指标。

安装与设置​

首先，您需要按照以下方式安装 infinopy Python 包：

pip install infinopy

如果你已经有一个 Infino Server 在运行，那么你就可以直接开始；但如果还没有，请按照以下步骤启动它：

  • 确保已安装 Docker
  • 在终端中运行以下命令： 
    docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

使用 Infino​

查看 InfinoCallbackHandler 的使用示例。

from langchain.callbacks import InfinoCallbackHandler