DIY ChatGPT/Perplexity:Open WebUI 简单挂壁搭建

LLM 是啥不需要多说,相信大家也知道很多时候用 API 比直接订阅便宜。最近部分谭友也通过各种途径收获了一些模型的 API key。但问题来了:怎么用最舒服呢?

这里想跟大家介绍一下 Open WebUI 以及如何用最简单挂壁的方式搭建它。Open WebUI 大概是最强大的 LLM UI 了:它支持云端聊天记录同步、图像生成、搜索引擎 RAG(DIY Perplexity),还能让你自定义工具。虽然 Open WebUI 本体只支持 OpenAI 和 Ollama API,配合 LiteLLM 即可实现多种模型的无缝切换。

关键要素

  1. 各种 LLM 的 API key
  2. (强烈建议)免费的 Neon PostgreSQL 数据库
  3. (可选)免费的 Brave Search API key

1. Hugging Face 一键部署

点开这个链接,在上方菜单选择 “Duplicate this Space”

注册一个免费的账号,然后就会看到这个界面

什么都不填的话默认配置了 DeepSeek R1 Qwen 32B 蒸馏版,能力不及完整版 R1 但在很多情况下已经能用了

2. 注册 Neon Postgres 数据库

  • 价格:免费(如果跳过,UI 每次重启会丢失聊天记录)

默认情况下,Open WebUI 会把聊天记录保存到本地数据库,但可惜 Hugging Face 的持久化存储需要 $5 一个月,不符合挂壁精神。这里用免费的 Neon 数据库代替

https://neon.tech 上点击 Get Started,选择挂壁 free tier 之后就可以创建一个免费的 512MB 数据库,得到一个 postgresql:// 打头的 connection string。这一串 URL 拷贝到 DATABASE_URL 就可以了

3. 获得 LLM API Key

我的 Space 已经配好了 LiteLLM,支持将各种模型的 API 转为常见的 OpenAI 接口。此时你可以放飞自己的收集控,争取 LLM 全制霸

OpenAI (GPT-4o)

最常用的 GPT-4o 可以看 @ATF 的帖子,充值拿到 OpenAI key 之后输入到 OPENAI_API_KEY。此处就不多介绍了

Anthropic Claude

另一个很好的选择是 Anthropic 家的 Claude,在多项评测里已经赶超 GPT-4。前往 Anthropic Console 就可以氪金得到 API key(验证电话号码后有一个 $5 的免费试用)。

Perplexity

  • 价格::sheep:
  • 模型:Sonar Reasoning (R1), Sonar Pro, Sonar
  • 变量:PERPLEXITY_API_KEY

如果你薅到了 Perplexity Pro,可以到这个页面获取你的 API key,每个月提供 $5 的免费额度。Perplexity API 现在提供基于 DeepSeek R1 的联网版模型(sonar-reasoning)

GitHub Models

  • 价格:免费
  • 模型:DeepSeek R1, GPT-4o, Llama 3.1, Mistral, Cohere
  • 变量:GITHUB_API_KEY

GitHub 最近推出了提供免费的 LLM API 以供测试用途,可以使用完整版的 DeepSeek R1。

Groq

  • 价格:免费
  • 模型:Llama 70B 蒸馏版 DeepSeek R1、Llama
  • 变量:GROQ_API_KEY

Groq 自研了 AI 推导加速 ASIC,其云服务最近加入了 Llama 70B 蒸馏版的 DeepSeek R1,应该是最快的 R1 蒸馏版提供商了(200+ token/s)。

其它模型

如果你拿到了 LiteLLM 支持的其它提供商的 API key,可以将对应的 model_list 配置用 base64 编码,然后放到 LITELLM_MODELS_BASE64 变量里

4. 获取 Brave Search API Key(DIY Perplexity)

Open WebUI 自带搜索引擎 RAG 集成,可以实现 DIY 版的 Perplexity。前往 https://api.search.brave.com 注册就可以获得一个免费的 key,放到 BRAVE_SEARCH_API_KEY 里。虽然免费的套餐有频率限制,个人用是完全足够的

5. 自由发挥

一键部署之后,其它玩法就靠大家自由发挥了~

此时技术流可能会对 Hugging Face Spaces 摇头,表示想在 K8S 上部署。这里顺便安利一下 Rackspace Spot 的竞价型 managed K8S,最低月付 $0.72 即可获得 16C/128G 超大实例(CPU 比较旧)


(图片仅供参考:pod 名仅为启发灵感,与实际负载或无关系)

愿各位谭友用最少的钱跑最复杂的服务,可用率四个九!

60 个赞

这个等了好久,没想到等来了open webui喂饭

这真的要发生活版吗 感觉目标用户不对啊

我觉得是 你看现在居然只有两个捧场板凳

3 个赞

前排表白飞机哥

细说

能白嫖吗 :doge:

想了想,主要是想推荐挂壁 k8s 羊毛,写成

就有点偏题了,就顺手安利一下吧(

应该在搬砖版?

能啊,xfinityedu 可薅 :sheep:

k8s没必要,太overkill了,不搞HA只为orchestration的话用nomad就好

基本死了,现在还在用的应该都是被套牢的 :doge:

不过重点不是 k8s 而是白菜价算力,这价格真的太吸引(人有多大胆,地有多大产

你可以理解为自带 chaos monkey,持续考验你的架构 :doge: 但实际情况下你的 max bid 不卡得太死 spot reap 并不频繁,约等于白菜价大内存 VPS

当然是用oracle cloud免费挂壁托管k8s啦

oracle cloud 的 k8s 哪能给你带来这般快感 :xieyan:

不过我自己的关键服务的确在 oke,剩下的很多都转灵车 rackspace spot 了,玩的就是心跳

:doge: 飞机哥简历给我来我司吧,dev机器都比这个大

我刚才context在自家搭服务器上去了,完全不想折腾k8s

tmd 确实灵车
这玩意怕是十年前的垃圾硬件翻新的 :yaoming:
混合云有点麻烦,我也懒得搞,control plane放在rackspace是有点不适

image
这不会跟我想的是一回事吧

仔细看这个
image
你能看到的内容都是小飞机精心挑选的 :smiling_face_with_three_hearts:

吃惊,需要晚上开会的那家?

猜的真准,正是 haswell/ivy bridge 这代电子垃圾 :yaoming: 但它还是便宜

它免费的 control plane 没 HA,这周的确宕了几次,不过实际节点没凉

HA 的 control plane 需要 $40/mo,狗都不买 :troll: 喜欢折腾的话大概可以搞个 daemonset,securityContext 捅出来,用它的 control plane 部署自己的 k3s

有种“edge 的唯一作用是下载 chrome”的即视感 :troll:

:yaoming:应该不是那家,虽然WLB也一坨屎.反正我现在的机器8张h100,没打过这么富裕的仗

:+1: 之前的迈阿密机票也是楼主吧,真好 :smiling_face_with_three_hearts:

:yaoming: 那他的control plane挂了节点degraded也就挂啊

不会啊,从 runtime 到 cni 都是我 k3s agent 起来的,不关它事(

就是强行把它的 k8s 当成 ansible 用了 :troll: 节点加入灵车 k8s → 我的 k3s pod 跑起来 → nsenter 捅出 cgroup → k3s 连 oracle cloud 跑的 k3s server

顺便节点不变成 ready 不会开始计费,当然我没有这么丧心病狂

感谢!!第一次听说rackspace,这价格感觉很有竞争力

收藏起來這週末玩起來 感謝喂飯

呃呃 k3s agent跑在开了 security context k8s pod 里?不理control plane这么玩不会导致节点rotate吗,这还是spot instance