想买一台可以本地跑简单LLM模型的电脑，不作为生产力使用，求一个简单挂壁的购买方式
带m1芯片的mac就可以 github搜一下mlx
取决于你有多少参数
我自己在vs code里面基于llama3 8b搭了一个本地版的copilot，32g内存， i7 cpu,只用cpu inference，速度还行
llama3 70b的在一台64g的电脑上基本不能使用。
3 个赞
nice. 刚好有一台m1 mac
求教程~
简单跟挂壁矛盾，简单的话买带4090的gaming desktop可以去戴尔搜。挂壁的话去本地电脑城（microcenter）攒机，论坛有经验帖，然后4090哪里有货从哪里买。建议还是4090不要为了省两百刀屈服于4080/3090，多一点显存还是很重要的。
能上4090就千万别苹果，苹果软件生态最拉垮。先有苹果后有天，m1赛过活神仙
5 个赞
我是小白，我想问下本地跑llm有什么好处吗？和直接问chatgpt相比。
我其实有一个需求，是之前看的第一本网络小说作者写到一半被封杀了，一直是个遗憾。这个能让llm帮写完吗？这个需要local train么？已有的部分三四百万字的样子？
2 个赞
安全性是主要的，数据都在本地了。
后面这个我没有看见过有类似的应用。如果可以，我想把红楼梦后面给续了。
2 个赞
多3090+NVLink是目前性价比最高的解决方案
3 个赞
m1 ultra比4090跑超过24GB的大模型强很多
请
1 个赞
注意这是2B的model，要稍微复杂一点的推理起码得8B。不过再往上也难，消费级机器也跑不动70B
1 个赞
插嘴问一句 常见的7b 8b 在本地跑的时候有哪些办法确保same input尽量返回same output，表现很不稳定……
目前: prompt里限制了返回格式，调api的时候限制了json ,多次请求response差异很大
能想到的是比如某模型调api的时候对应的temperature之类的参数
anything LLM好用的，UI不错
mistral 7b
设置random seed，设置temperature=0
34B
apple silicon 支持很多主流开源模型 还能tune lora
你是说第几代apple silicon？要看M1 npu有没有专门的int4电路，不然速度跟跑int8没区别。这些大的模型都要降到4bit跑，你发的这个也是int4。nvidia在turing那一代（2080）就加入了int4。
1 个赞