把 AI 大模型装进自己电脑，免费还断网能用

先问你一个问题：你平时怎么用 AI？

大概率是——打开豆包或者 ChatGPT 的网页，登录，联网，问问题。用得多了还得开会员。

但有件事很多人不知道：你完全可以把一个能力接近 GPT 的大模型，直接下载到自己电脑里跑。不用联网，不用付费，数据全在你本地，谁也看不到。

听起来像极客才会玩的东西？两年前确实是——得装一堆 CUDA、编译半天、对着报错抓狂。但现在不一样了，本地跑大模型这件事，已经简化到「一行命令」或者「点几下鼠标」的程度，一台普通电脑就能搞定。

这篇我把这件事从头讲透：为什么值得装、你的电脑能跑多大的、具体怎么装、跑哪个模型、以及它真实的局限在哪。读完你就能自己动手装一个。

先说为什么值得折腾这一下

本地跑 AI，解决三个云端 AI 给不了你的东西。

第一，数据不外传。你问云端 AI 的每一句话、上传的每一份文档，都会发到对方服务器。如果你要处理公司代码、合同、财务数据、私人信息，这件事本身就有顾虑。本地模型跑在你自己电脑上，数据一个字节都不出门。

第二，断网也能用。飞机上、高铁上、网络差的地方，云端 AI 直接歇菜。本地模型不依赖网络，断网照样写代码、查资料、翻译。

第三，零成本无限用。云端 AI 用多了要花钱，按 token 计费，重度用户一个月几十上百块。本地模型下载一次，之后跑多少都不花一分钱。

这三点里，只要有一点戳中你，本地跑 AI 就值得装。

你的电脑能跑多大的模型

这是最关键、也最容易劝退人的部分。其实没那么吓人，我用大白话讲清楚。

模型有大有小，用「参数量」衡量，比如 7B 就是 70 亿参数。模型越大越聪明，但也越吃内存和显存。

有个简单的换算：模型经过「量化」压缩后（你不用懂原理，知道这是标配就行），跑一个 7B 模型大概需要 4 到 8GB 显存，或者足够的内存。对应到你的电脑——

没有独立显卡的老电脑 / 普通笔记本：只要有 16G 内存，就能用纯 CPU 跑起 7B 模型。速度慢一点，但日常问答、翻译、写邮件、总结文章完全够用。这是绝大多数人的情况，也就是说，你现在用的这台电脑，大概率就能跑。

有独立显卡（比如 RTX 3060 及以上）：能更流畅地跑 7B 到 14B 的模型，速度明显快，体验接近在线 AI。

高配（24G 显存的 4090，或者统一内存 64G 以上的 Mac）：能跑 32B 级别的模型，回答质量已经接近 GPT-4 的水平。这是个人电脑能达到的天花板。

给你一个真实的实测数据感受一下：一台 RTX 3060（12G 显存）加 64G 内存的机器，跑 Qwen3.5 的 35B 模型，速度大约每秒 14 个字，思考和回答都能接受。

所以结论是——别被「大模型」三个字吓到。你不需要顶配电脑。16G 内存的普通机器，就是本地 AI 的入场券。

两个工具，按你的习惯二选一

本地跑 AI，主流就两个工具，区别很简单。

Ollama——命令行工具，适合不怕敲命令的人。它的好处是轻量、干净、能被各种程序调用。

LM Studio——图形界面工具，适合一看到黑乎乎的命令行就头疼的人。全程点鼠标，跟装个普通软件一样。

如果你完全没碰过命令行，直接用 LM Studio。如果你写过几行代码、或者愿意学，Ollama 更利索。下面我把两个的上手步骤都讲一下。

Ollama 三步上手

第一步，装。去官网 ollama.com，点 Download，下对应你系统（Windows / Mac / Linux 都支持）的安装包，双击装上。

这里有个重要提醒：装之前在设置里把模型下载目录改到 D 盘或别的大容量盘。因为模型文件动辄十几 G 到几十 G，默认放 C 盘容易把系统盘塞爆。这一步很多新手会踩坑。

第二步，下模型并运行。打开终端，敲一行命令，比如跑 DeepSeek 的 7B 模型：

ollama run deepseek-r1:7b

第一次会自动下载（大约 4.7G，等一次，之后秒开）。下完出现一个输入提示符，你直接打字就能跟它聊。想退出就输入 /bye。

第三步，按需换模型。常用的几个——qwen2.5:7b（中文强，4G 显存就能跑）、llama3.1:8b（国际通用）、deepseek-r1:7b（推理和代码强）。内存大就上 14b、32b，内存小就用 1.5b、7b。一句 ollama list 看你装了哪些，ollama rm 模型名 删掉不要的。

LM Studio 更简单

LM Studio 全程图形界面。装好之后，在软件里搜你想要的模型（比如 Qwen、DeepSeek），点下载，下完在对话窗口直接聊，跟用网页版 AI 几乎一样，只是跑在你本地。

唯一要留意的是：如果你的模型很大、电脑配置一般，软件里可以调内存分配和推理引擎（CUDA 还是纯 CPU），跑不动就换个更小的模型。

对纯新手，我建议从 LM Studio 起步，跑通了有感觉了，再去试 Ollama。

跑哪个模型？给你直接的建议

不用纠结，按场景选——

中文日常用（问答、翻译、写东西）：选 Qwen 2.5（通义千问的开源版），中文是所有开源模型里最好的之一。

推理、写代码：选 DeepSeek 系列，逻辑和代码能力强。

配置低、只想先试试：从最小的 7B 量化版起步，跑得动再往大了换。

配置高、想要最好效果：上 Qwen-32B，这是个人电脑性价比最高的选择，效果接近 GPT-4，一张 24G 显存的显卡或 64G 内存的 Mac 就能带动。

但得说清楚它的局限

我不想把本地 AI 吹成万能的，它有几个真实短板，你得知道。

第一，小模型会变笨。能在普通电脑跑的小模型，因为参数少、又被压缩过，比云端的大模型更容易「胡说八道」（专业叫幻觉），有时候会前言不搭后语。缓解办法只有一个：在你电脑扛得住的范围内，尽量跑大一点的模型。

第二，速度可能慢。低配电脑用 CPU 跑，可能慢到每秒两三个字，急性子会受不了。有独立显卡会快很多。

第三，知识不更新。本地模型是「定格」在它训练那一刻的，问它最新的新闻、今天的股价，它不知道。这种实时信息还得靠联网的 AI。

所以最聪明的用法不是「用本地 AI 取代云端 AI」，而是两个搭配：敏感的、离线的、高频重复的活儿交给本地；要最新信息、要最强能力的活儿交给云端。

对你意味着什么

落到具体行动上——

如果你是普通用户，担心隐私、或者经常在没网的地方用 AI：今晚就可以装个 LM Studio，下一个 Qwen 2.5 的 7B 模型，体验一下「自己电脑里的 AI」。半小时就能跑通。

如果你是开发者或者重度用户：Ollama 值得装。它提供一个跟 OpenAI 完全兼容的本地接口（地址是 localhost:11434），意味着你把代码里指向云端的地址换成这个，同一套代码就能在本地和云端之间随便切——本地调试、跑批量任务，一分钱不花。

如果你是企业、团队，有数据合规要求：本地部署几乎是必选项。把模型部署在内网，敏感数据永远不出公司。

最后

大多数人对 AI 的认知，还停在「打开网页、登录、付费、联网」。

但本地跑大模型这件事，正在改变这个默认设定。一台普通电脑、一个免费工具、半小时时间，你就能拥有一个完全属于自己、不联网、不花钱、不外传数据的 AI。

它不是要取代云端的强大 AI，而是给你多了一个选择——在你需要隐私、需要离线、需要省钱的时候，有个随时待命、谁也管不着的备份大脑。

这个选择，过去只有极客才玩得起。现在，门槛已经低到任何一个愿意花半小时的人都能跨过去。

要不要装，看你。但至少现在你知道，这扇门是开着的。