LLM 是啥不需要多说,相信大家也知道很多时候用 API 比直接订阅便宜。最近部分谭友也通过各种途径收获了一些模型的 API key。但问题来了:怎么用最舒服呢?
这里想跟大家介绍一下 Open WebUI 以及如何用最简单挂壁的方式搭建它。Open WebUI 大概是最强大的 LLM UI 了:它支持云端聊天记录同步、图像生成、搜索引擎 RAG(DIY Perplexity),还能让你自定义工具。虽然 Open WebUI 本体只支持 OpenAI 和 Ollama API,配合 LiteLLM 即可实现多种模型的无缝切换。
关键要素
- 各种 LLM 的 API key
- (强烈建议)免费的 Neon PostgreSQL 数据库
- (可选)免费的 Brave Search API key
1. Hugging Face 一键部署
点开这个链接,在上方菜单选择 “Duplicate this Space”
注册一个免费的账号,然后就会看到这个界面
什么都不填的话默认配置了 DeepSeek R1 Qwen 32B 蒸馏版,能力不及完整版 R1 但在很多情况下已经能用了
2. 注册 Neon Postgres 数据库
- 价格:免费(如果跳过,UI 每次重启会丢失聊天记录)
默认情况下,Open WebUI 会把聊天记录保存到本地数据库,但可惜 Hugging Face 的持久化存储需要 $5 一个月,不符合挂壁精神。这里用免费的 Neon 数据库代替
在 https://neon.tech 上点击 Get Started,选择挂壁 free tier 之后就可以创建一个免费的 512MB 数据库,得到一个 postgresql://
打头的 connection string。这一串 URL 拷贝到 DATABASE_URL
就可以了
3. 获得 LLM API Key
我的 Space 已经配好了 LiteLLM,支持将各种模型的 API 转为常见的 OpenAI 接口。此时你可以放飞自己的收集控,争取 LLM 全制霸
OpenAI (GPT-4o)
- 价格:https://openai.com/api/pricing
- 变量:
OPENAI_API_KEY
最常用的 GPT-4o 可以看 @ATF 的帖子,充值拿到 OpenAI key 之后输入到 OPENAI_API_KEY
。此处就不多介绍了
Anthropic Claude
- 价格:Pricing \ Anthropic
- 变量:
ANTHROPIC_API_KEY
另一个很好的选择是 Anthropic 家的 Claude,在多项评测里已经赶超 GPT-4。前往 Anthropic Console 就可以氪金得到 API key(验证电话号码后有一个 $5 的免费试用)。
Perplexity
- 价格:
- 模型:Sonar Reasoning (R1), Sonar Pro, Sonar
- 变量:
PERPLEXITY_API_KEY
如果你薅到了 Perplexity Pro,可以到这个页面获取你的 API key,每个月提供 $5 的免费额度。Perplexity API 现在提供基于 DeepSeek R1 的联网版模型(sonar-reasoning)
GitHub Models
- 价格:免费
- 模型:DeepSeek R1, GPT-4o, Llama 3.1, Mistral, Cohere
- 变量:
GITHUB_API_KEY
GitHub 最近推出了提供免费的 LLM API 以供测试用途,可以使用完整版的 DeepSeek R1。
Groq
- 价格:免费
- 模型:Llama 70B 蒸馏版 DeepSeek R1、Llama
- 变量:
GROQ_API_KEY
Groq 自研了 AI 推导加速 ASIC,其云服务最近加入了 Llama 70B 蒸馏版的 DeepSeek R1,应该是最快的 R1 蒸馏版提供商了(200+ token/s)。
其它模型
如果你拿到了 LiteLLM 支持的其它提供商的 API key,可以将对应的 model_list
配置用 base64 编码,然后放到 LITELLM_MODELS_BASE64
变量里
4. 获取 Brave Search API Key(DIY Perplexity)
Open WebUI 自带搜索引擎 RAG 集成,可以实现 DIY 版的 Perplexity。前往 https://api.search.brave.com 注册就可以获得一个免费的 key,放到 BRAVE_SEARCH_API_KEY
里。虽然免费的套餐有频率限制,个人用是完全足够的
5. 自由发挥
一键部署之后,其它玩法就靠大家自由发挥了~
此时技术流可能会对 Hugging Face Spaces 摇头,表示想在 K8S 上部署。这里顺便安利一下 Rackspace Spot 的竞价型 managed K8S,最低月付 $0.72 即可获得 16C/128G 超大实例(CPU 比较旧)
(图片仅供参考:pod 名仅为启发灵感,与实际负载或无关系)
愿各位谭友用最少的钱跑最复杂的服务,可用率四个九!