阳孙应用工作室
返回博客列表
2026-11-176 分钟技术

本地 AI 为什么要先下载模型,才能回复第一句?

本地 AI 为什么要先下载模型,才能回复第一句?

作者:SunClaw Team · 更新日期:2026-11-17

直接答案

因为回复要用的那一套权重不在应用安装包里。没有这份文件,手机上没有可以运行的模型。

PrivAI 在所选模型还没下到本机时,会先弹出下载说明:仅首次需要联网,之后离线使用。点取消则不加载。已经下过的,点确认会直接加载,不再下一遍。空对话上的说明是:不上传内容。下载一次之后可以离线多轮聊。文件还在下载时,没有已经载入内存的模型,也就发不出第一句回复。

选哪个模型,见 iPhone 上选哪个本地模型。怎么理解离线,见 在 iPhone 上本地运行大模型。

推荐的那一个有多大

目录里标成推荐的是 Qwen3 1.7B。它记的是 1000 MB,屏幕上按 1.0 GB 显示(1000 MB 及以上用 MB÷1000,保留一位小数,不是除以 1024)。标称至少 4 GB 内存。

手机内存按物理内存换算成 GB 后四舍五入到整数。这个整数若小于该模型标的最低内存,聊天页会出一条警告。警告不是拒绝下载。换一个更小的模型,警告会按那个模型的最低内存重算。

当前目录里另外几个非旧版条目的体量,用的是同一套显示:

模型记录的大小屏幕标称最低内存
Qwen3 0.6B400 MB400 MB3 GB
Qwen3.5 0.8B625 MB625 MB4 GB
Gemma 3 1B730 MB730 MB3 GB
Qwen3 1.7B(推荐)1000 MB1.0 GB4 GB
Qwen3.5 2B1700 MB1.7 GB6 GB
Llama 3.2 3B1800 MB1.8 GB6 GB
Qwen3 4B2300 MB2.3 GB6 GB
Qwen3.5 4B3000 MB3.0 GB8 GB

旧条目仍留在目录里,是为了已经下过那些文件的人还能打开。新的一次下载按你现在选中的那一项走。换模型就是另一份文件,本机没有那一份就要再下一次。

下完之后,对话仍有上限

默认温度是 0.6。单次回复最多 2048 个 token,避免小模型一直重复。上下文按字符计,预算 8000。超过时丢掉最早的轮次,不是把整段历史永远留在内存里。

这些上限是加载之后的事。文件还没在本机时,没有模型可加载,也就没有第一句回复。

下载来源会写在确认框里。默认指向 huggingface.co,备用镜像是 hf-mirror.com。中国大陆的说明是:到设置里的 Mirror 配置镜像。镜像只影响这份文件从哪下载,不把你的对话上传出去。

常见问题

Q: 为什么装完应用还要下几百 MB 到几 GB? A: 安装包不含这份权重。第一次要把所选模型下到本机,之后同一份文件离线加载。

Q: 已经下过,还会再下吗? A: 同一份文件不会。确认时直接加载。换了一个还没下过的模型,才会再下那一份。

Q: 内存警告是不是就不能下? A: 屏幕上的警告是:手机的内存整数低于该模型标的最低内存。它是警告,不是下载按钮被关掉。

Q: 对话会上传吗? A: 空状态写的是不上传。联网发生在首次下载模型文件的时候。

先下推荐的那一个,再开口

存储紧,就从标成推荐的 Qwen3 1.7B 看起:屏幕是 1.0 GB,标称至少 4 GB 内存。下完再聊。要更小或更大,用上表换,并准备再下一次。

PrivAI

#PrivAI#本地模型#离线#下载