Skip to main content
Open on GitHub

Llama.cpp

llama.cpp python library is a simple Python bindings for @ggerganov llama.cpp.

This package provides:

  • Low-level access to C API via ctypes interface.
  • High-level Python API for text completion
    • OpenAI-like API
    • LangChain compatibility
    • LlamaIndex compatibility
  • OpenAI compatible web server
    • Local Copilot replacement
    • Function Calling support
    • Vision API support
    • Multiple Models

安装与设置​

  • 安装Python包 
    pip install llama-cpp-python
  • 下载其中一个支持的模型，并按照说明将其转换为llama.cpp格式。

聊天模型​

查看一个 使用示例。

from langchain_community.chat_models import ChatLlamaCpp
API 参考：ChatLlamaCpp

LLMs​

查看一个 使用示例。

from langchain_community.llms import LlamaCpp
API 参考：LlamaCpp

嵌入模型​

查看一个 使用示例。

from langchain_community.embeddings import LlamaCppEmbeddings
API 参考：LlamaCppEmbeddings