一个用于与大型语言模型交互的命令行实用工具和 Python 库，支持远程 API 以及可在本地计算机上安装和运行的模型。

从命令行运行提示词，将结果存储在 SQLite 中，生成嵌入等等。

请查阅 LLM 插件目录，获取提供远程和本地模型访问权限的插件。

完整文档：llm.datasette.io

关于此项目的背景

• llm, ttok 和 strip-tags——用于处理 ChatGPT 和其他 LLM 的命令行工具
• LLM 命令行工具现在通过插件支持自托管语言模型
• LLM 现在提供用于处理嵌入的工具
• 使用 llm-clip 构建图像搜索引擎，使用 llm chat 与模型聊天
• 您现在可以在终端中使用 LLM 对图像、音频和视频运行提示词
• 使用 LLM 模式从非结构化内容中提取结构化数据
• LLM 0.24 版本通过碎片和模板插件支持长上下文

使用 pip 安装此工具

pip install llm

或使用 Homebrew

brew install llm

详细安装说明.

如果您拥有 OpenAI API 密钥，您可以立即开始使用 OpenAI 模型。

作为 OpenAI 的替代方案，您可以安装插件来访问其他提供商的模型，包括可以在您自己的设备上安装和运行的模型。

像这样保存您的 OpenAI API 密钥

llm keys set openai

这将提示您输入密钥，如下所示

Enter key: 

保存密钥后，您可以像这样运行提示词

llm "Five cute names for a pet penguin"

1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

阅读使用说明了解更多。

LLM 插件可以添加对替代模型的支持，包括可在您自己的机器上运行的模型。

要在本地下载并运行 Mistral 7B Instruct，您可以安装 llm-gpt4all 插件

llm install llm-gpt4all

然后运行此命令查看它提供了哪些模型

llm models

gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

每个模型文件将在您首次使用时下载一次。像这样试用 Mistral

llm -m mistral-7b-instruct-v0 'difference between a pelican and a walrus'

您还可以使用 llm chat 命令与模型开始聊天会话

llm chat -m mistral-7b-instruct-v0

Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

您可以使用 -s/--system 选项设置系统提示词，提供处理工具其他输入的说明。

要描述文件中代码的工作原理，请尝试这样

cat mycode.py | llm -s "Explain this code"

获取帮助，运行

llm --help

您也可以使用

python -m llm --help