Skip to main content
Open In ColabOpen on GitHub

MLX 本地管道

MLX 模型可以通过 MLXPipeline 类在本地运行。

MLX社区拥有超过150个模型，所有模型均为开源且在Hugging Face Model Hub上公开可用。这是一个在线平台，人们可以轻松协作并共同构建机器学习项目。

这些可以通过LangChain中的本地管道包装器调用，也可以通过MlXPipeline类调用其托管的推理端点。有关mlx的更多信息，请参阅示例仓库笔记本。

要使用，您应该安装 mlx-lm Python 软件包，以及 transformers。您也可以安装 huggingface_hub。

%pip install --upgrade --quiet  mlx-lm transformers huggingface_hub

模型加载​

可以通过使用 from_model_id 方法指定模型参数来加载模型。

from langchain_community.llms.mlx_pipeline import MLXPipeline

pipe = MLXPipeline.from_model_id(
    "mlx-community/quantized-gemma-2b-it",
    pipeline_kwargs={"max_tokens": 10, "temp": 0.1},
)
API 参考：MLXPipeline

也可以通过直接传入现有的 transformers 管道来加载它们

from mlx_lm import load

model, tokenizer = load("mlx-community/quantized-gemma-2b-it")
pipe = MLXPipeline(model=model, tokenizer=tokenizer)

创建链​

模型已加载到内存中后，你可以将其与提示词组合，形成一个链。

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

chain = prompt | pipe

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))
API 参考：PromptTemplate