也有差不多的想法，想给一些小说写个同人文
我用的3090 + ollama 跑的q8 llama3 8b和q8 gemma2 9b
超过8g ram的苹果 你不如买块2手的12g显存的卡
我有同样的问题，想用llm分析 statement 归类到beancount account。结果一言难尽。
@jefferyz 好像是beancount的忠实用户
Beancount 技术交流贴 他们在这个帖子讨论
但你这个也不适合本地跑，调好prompt应该不难（
如果可以用联网的copilot是不是没必要本地搭一个呢
可以试试LM Studio？感觉还挺傻瓜式的，也支持Metal和CUDA。还可以create local server
没必要，水平一般
1 个赞
GPT-4o 的结果非常好，想试试线下的，就算 llama3 70b 都不太满意。
最后还是让gpt给我写code再自己调吧。
LMAO bro you serious?
你也用各种云产品吧，也不是没有怕安全性而不用吧
选个不拿你的数据去train model的 plan/api 就行
我手里一套4090x2，一套m1 ultra
只要模型大于4090显存就会被m1 ultra暴打
对于大多数人来说，是像大佬所说的
超显存 CPU 肯定更快啊，跟是不是 m1 有什么关系 
2 个赞
lz要求是挂壁的话，m1我觉得就是only choice
M1是unified memory… 内存现存共享