Ubuntu 24.04 安装 AnythingLLM 教程

什么是 AnythingLLM？

AnythingLLM 是一款开源的本地 AI 文档聊天应用，由 Mintplex Labs 开发。它允许你将文档（PDF、TXT、DOCX 等）上传到本地知识库，然后与 AI 进行对话，获得基于这些文档的回答。

主要特点：
– 完全本地部署，保护隐私
– 支持多种 LLM：Ollama、OpenAI、Azure OpenAI、Claude 等
– 支持多种文档格式
– 简洁的 Web UI
– 支持 Docker 一键部署

前置要求

• Ubuntu 24.04 服务器
• 已安装 Docker 和 Docker Compose
• 建议 4GB+ RAM
• 如果使用本地模型，需要显卡（GPU）支持

安装步骤

1. 安装 Docker（如果尚未安装）

# 更新软件包索引
sudo apt update

# 安装依赖
sudo apt install -y ca-certificates curl gnupg lsb-release

# 添加 Docker 官方 GPG 密钥
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# 设置 Docker 仓库
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 安装 Docker
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 将当前用户添加到 docker 组
sudo usermod -aG docker $USER

# 启动 Docker
sudo systemctl start docker
sudo systemctl enable docker

2. 创建 AnythingLLM 目录

# 创建工作目录
mkdir -p ~/anythingllm
cd ~/anythingllm

3. 创建 Docker Compose 配置文件

version: "3.8"

services:
  anythingllm:
    image: mintplexlabs/anythingllm:master
    container_name: anythingllm
    restart: unless-stopped
    ports:
      - "3001:3001"
    volumes:
      - ./storage:/app/server/storage
      - ./embeddings:/app/backend/embeddings
      - ./vector-db:/app/server/vector-db
    environment:
      - UID=1000
      - GID=1000
      - NODE_ENV=production

networks:
  anythingllm:
    driver: bridge

4. 启动 AnythingLLM

# 启动服务
docker-compose up -d

# 查看日志
docker-compose logs -f

5. 访问 AnythingLLM

启动后，在浏览器中访问：http://你的服务器IP:3001

首次访问会进入设置向导。

配置 LLM 连接

AnythingLLM 支持多种 LLM 提供商，选择适合你的：

方式一：使用 Ollama（本地模型）

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 拉取模型
ollama pull llama3.2
ollama pull qwen2.5

然后在 AnythingLLM 中选择 “Ollama” 作为 LLM 提供商。

方式二：使用 OpenAI API

1. 访问 OpenAI Platform 获取 API Key
2. 在 AnythingLLM 设置中选择 “OpenAI”
3. 输入 API Key 和模型名称（如 gpt-4o-mini）

方式三：使用 Anthropic Claude

1. 访问 Anthropic Console 获取 API Key
2. 在 AnythingLLM 设置中选择 “Anthropic”

常用命令

# 启动服务
docker-compose up -d

# 停止服务
docker-compose down

# 重启服务
docker-compose restart

# 查看日志
docker-compose logs -f anythingllm

# 更新镜像
docker-compose pull
docker-compose up -d

验证安装

访问 http://你的服务器IP:3001，如果看到 AnythingLLM 的登录/设置页面，说明安装成功。

常见问题

1. 端口被占用

如果 3001 端口被占用，修改 docker-compose.yml 中的端口映射：

ports:
  - "3002:3001"  # 改为 3002

2. 内存不足

AnythingLLM 运行需要一定内存。如果使用本地模型，建议：
– 至少 4GB 可用内存
– 使用较小的模型（如 llama3.2:1b）

3. 无法访问

检查防火墙设置：

# 开放 3001 端口
sudo ufw allow 3001/tcp
sudo ufw reload

下一步

安装完成后，你需要：

1. 配置 LLM 提供商（Ollama/OpenAI/Claude）
2. 创建工作区（Workspace）
3. 上传文档并开始对话

详细使用教程请参考下篇文章。

参考资源

• AnythingLLM 官网
• AnythingLLM GitHub
• Ollama 官网