本地 AI 为什么要先下载模型,才能回复第一句?
作者:SunClaw Team · 更新日期:2026-11-17
直接答案
因为回复要用的那一套权重不在应用安装包里。没有这份文件,手机上没有可以运行的模型。
PrivAI 在所选模型还没下到本机时,会先弹出下载说明:仅首次需要联网,之后离线使用。点取消则不加载。已经下过的,点确认会直接加载,不再下一遍。空对话上的说明是:不上传内容。下载一次之后可以离线多轮聊。文件还在下载时,没有已经载入内存的模型,也就发不出第一句回复。
选哪个模型,见 iPhone 上选哪个本地模型。怎么理解离线,见 在 iPhone 上本地运行大模型。
推荐的那一个有多大
目录里标成推荐的是 Qwen3 1.7B。它记的是 1000 MB,屏幕上按 1.0 GB 显示(1000 MB 及以上用 MB÷1000,保留一位小数,不是除以 1024)。标称至少 4 GB 内存。
手机内存按物理内存换算成 GB 后四舍五入到整数。这个整数若小于该模型标的最低内存,聊天页会出一条警告。警告不是拒绝下载。换一个更小的模型,警告会按那个模型的最低内存重算。
当前目录里另外几个非旧版条目的体量,用的是同一套显示:
| 模型 | 记录的大小 | 屏幕 | 标称最低内存 |
|---|---|---|---|
| Qwen3 0.6B | 400 MB | 400 MB | 3 GB |
| Qwen3.5 0.8B | 625 MB | 625 MB | 4 GB |
| Gemma 3 1B | 730 MB | 730 MB | 3 GB |
| Qwen3 1.7B(推荐) | 1000 MB | 1.0 GB | 4 GB |
| Qwen3.5 2B | 1700 MB | 1.7 GB | 6 GB |
| Llama 3.2 3B | 1800 MB | 1.8 GB | 6 GB |
| Qwen3 4B | 2300 MB | 2.3 GB | 6 GB |
| Qwen3.5 4B | 3000 MB | 3.0 GB | 8 GB |
旧条目仍留在目录里,是为了已经下过那些文件的人还能打开。新的一次下载按你现在选中的那一项走。换模型就是另一份文件,本机没有那一份就要再下一次。
下完之后,对话仍有上限
默认温度是 0.6。单次回复最多 2048 个 token,避免小模型一直重复。上下文按字符计,预算 8000。超过时丢掉最早的轮次,不是把整段历史永远留在内存里。
这些上限是加载之后的事。文件还没在本机时,没有模型可加载,也就没有第一句回复。
下载来源会写在确认框里。默认指向 huggingface.co,备用镜像是 hf-mirror.com。中国大陆的说明是:到设置里的 Mirror 配置镜像。镜像只影响这份文件从哪下载,不把你的对话上传出去。
常见问题
Q: 为什么装完应用还要下几百 MB 到几 GB? A: 安装包不含这份权重。第一次要把所选模型下到本机,之后同一份文件离线加载。
Q: 已经下过,还会再下吗? A: 同一份文件不会。确认时直接加载。换了一个还没下过的模型,才会再下那一份。
Q: 内存警告是不是就不能下? A: 屏幕上的警告是:手机的内存整数低于该模型标的最低内存。它是警告,不是下载按钮被关掉。
Q: 对话会上传吗? A: 空状态写的是不上传。联网发生在首次下载模型文件的时候。
先下推荐的那一个,再开口
存储紧,就从标成推荐的 Qwen3 1.7B 看起:屏幕是 1.0 GB,标称至少 4 GB 内存。下完再聊。要更小或更大,用上表换,并准备再下一次。