lisa主机lisa主机

适合个人或小团队的自建 AI 网关 gpt-load ,附安装说明和简单对比

发布于:2026-11-19 软件 0条评论

说实话 xiaoz 用过的 AI 网关不少,从new-api、Bifrost、octopus 到这次的gpt-load,我都认真的用过一段时间,最终大概率会留下 gpt-load 作为个人长期使用的 AI 网关,原因很简单,功能正好切中我的需求,内存占用也不高。

image

gpt-load 是干嘛的?

GPT-Load 是一个面向多渠道、多凭据场景的自托管 AI 网关,将 API Key 管理、流量调度、故障处理与用量统计统一收进单一入口,和 new-api、Magpie 等软件功能类似。

为什么说 gpt-load 适合个人或者小团队使用

之前 xiaoz 有使用 new-api 网关,但 new-api 更像是为中转站老板准备的,比如多用户,计费、倍率等,但对于个人而言,这些功能基本都用不上。

gpt-load 是单用户、多密钥设计,功能更加克制,但负载均衡,故障转移这些实用功能,该有的都有,gpt-load 设计走的轻量、简洁路线,面向的用户也很明确,就是个人或者小团队。

从 Bifrost 到 gpt-load

很长一段时间,Bifrost 一直是 xiaoz 的主力AI网关,之前还单独写了两篇文章进行介绍:

Bifrost 虽然上手比较复杂,但是他强大的路由功能和负载均衡让我非常满意,但永久了之后我发现,Bifrost 内存占用真的是太高了,即使并发不多的情况下,Bifrost也经常飙到 1GB 左右。

于是 xiaoz 尝试了很多其它 AI 网关软件,某天发现了 gpt-load,gpt-load底层也用了Bifrost Core作为核心,在负载均衡和路由上做了一些简化,上手难度比Bifrost 更简单,且内存占用低很多。

Docker Compose安装 gpt-load

我并没有完全按照gpt-load官方提供的Docker Compose安装教程来执行,而是根据自身情况有所调整,首先新建compose.yaml文件,内容如下:

services:
  gpt-load:
    image: ghcr.io/tbphp/gpt-load:2
    ports:
      - "${BIND_ADDRESS:-${HOST:-127.0.0.1}}:${PORT:-3001}:${PORT:-3001}"
      - "${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:1455:1455"
      - "${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:54545:54545"
      - "${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:51121:51121"
    env_file:
      - .env
    restart: always
    user: "1000:1000"
    volumes:
      - ./data:/app/data
    stop_grace_period: ${CONTAINER_STOP_GRACE_PERIOD:-15s}
    healthcheck:
      test: wget -q --spider -T 10 -O /dev/null http://localhost:${PORT:-3001}/health
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 40s

然后继续新建.env文件,内容如下:

HOST=0.0.0.0
PORT=3001
# Timeouts are seconds; the Compose stop grace period uses a duration.
GRACEFUL_SHUTDOWN_TIMEOUT=10
CONTAINER_STOP_GRACE_PERIOD=15s
READ_TIMEOUT=60
IDLE_TIMEOUT=120

DATA_DIR=/app/data
DATABASE_DSN=

AUTH_KEY=xxx
ENCRYPTION_KEY=xxx

CLIENT_IP_HEADER=
TRUSTED_PROXIES=

LOG_LEVEL=info
LOG_FORMAT=text

你需要修改的主要是下面两个地方:

  • AUTH_KEY:WEB界面的访问密码
  • ENCRYPTION_KEY:加密密钥,随便设置一个字符串即可

然后输入docker compose up -d启动,启动成功后输入http://IP:3001 访问测试,密码就是刚刚我们设置的AUTH_KEY

CleanShot 2026-11-19 at 14.21.36@2x

接着就是创建分组(类似于渠道)和访问密钥了,这里不做详细展开,有兴趣的可以进一步通过官方文档:https://gpt-load.com/zh/docs 进行了解。

gpt-load 部分截图

image

image

软件对比

xiaoz 深度使用过new-api、Bifrost、octopus、gpt-load 这4个 AI 网关软件,基于我的主观感受和体验,做了一个简单对比。

软件/特性new-apiBifrostoctopusgpt-load
内存占用低高非常低中低
负载均衡一般非常强大一般强大
故障转移渠道级路由级,非常细致自动自动
界面易用性很多个人用不上的功能英文,上手复杂非常简洁易用且简洁
支持的渠道丰富丰富较少非常丰富,包括一些订阅也能接入
多用户支持免费版不支持不支持不支持

备注:以上只是个人主观感受,未进行严格测试,数据不一定完全准确,如有错漏,还请指出。

目前 gpt-load 已经作为 xiaoz 主力 AI 网关,后续大概率会慢慢停掉 new-api 和 Bifrost,并不是这两个软件不够好,而是不太符合我的场景和需求,最终应该会留下 gpt-load 和 octopus

结语

综合来看,gpt-load 胜在功能克制而实用:单用户多密钥、负载均衡与自动故障转移齐全,界面简洁、内存占用中低,正好契合个人及小团队需求。相比 new-api 的冗余和 Bifrost 的高内存,它更适合 xiaoz 长期主力使用。

gpt-load 开源地址:https://github.com/tbphp/gpt-load

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注