M4 Mac mini 服务器探索之路 Ollama模型与显存占用关系分析 实测体验汇报以及服务方式不到Macos后台运行教程
discord讨论群:
https://discord.gg/rSgzxS6cwX
技术博客文章:
https://www.milaone.com/archives/154.html
章节:
00:00 开篇:我们很需要本地ai服务
01:46 本地大模型与显存的关系分析
03:01 精确计算大模型显存占用关系的工具
04:02 大模型与显存关系的粗略估算方法
04:48 几款常用本地大模型的实测推理、速度、效果、内存压力
12:04 服务方式部署过程