第1篇：零基础认识本地 AI 工具

在 上张贴 由 yuanxujia发表回复

⏱️ 阅读时间：约 15 分钟
🎯 本节你将学会：听懂 AI 圈的基本行话、认识主流工具、对本地 AI 能力有合理预期

核心概念扫盲（用大白话 + 比喻）

AI 模型是什么？——”训练有素的员工”

AI 模型就像被训练过的员工。训练过程 = 喂它读几十万亿字的文章、代码、对话，让它学会说话、写代码、做数学题。

  • 没训练过的模型 = 刚毕业的大学生，聪明但什么都不懂
  • 训练好的模型 = 工作了 10 年的老员工，什么都会

模型不是”搜索答案”，而是”学会了知识后自己组织语言回答”。就像你学完语文课，不是背课文，而是学会了自己写作文。

什么是”本地部署”？——”去公司上班 vs 请员工来家里”

云端 AI（ChatGPT/Claude）本地 AI
比喻去公司找员工请员工来家里上班
数据去哪了经过云端服务器只在你电脑上
能几个人用成千上万的人同时用只有你用
速度快慢取决于云端服务器取决于你的电脑

参数是什么？——”员工的知识储备量”

参数（Parameters） = AI 模型内部的”神经元连接数”，可以理解为模型的”知识储备量”。

参数量级类比典型模型
1B（10亿）小学生Qwen3:0.6b、Qwen3:1.7b
4B（40亿）初中生🔥 Qwen3:4b（性能≈72B级，推荐首选）
8B（80亿）高中生Qwen3:8b、Llama3.1-8B
14B（140亿）大学生Qwen3:14b
30-32B（300亿+）研究生Qwen3:30b（MoE）、Qwen3:32b
235B（2350亿）博士Qwen3:235b（MoE，本地最强）

参数越多 = 越聪明，但需要的电脑配置也越高。就像博士生更厉害，但工资要求也更高。

量化是什么？——”把模型变小”

量化（Quantization） = 用更少的空间装同一个模型。

就像你把高清视频压缩成标清——画面质量稍微下降一点，但文件小了很多，能在手机上播放。

量化级别文件大小质量适合谁？
Q8（8-bit）最大最好电脑配置很高的人
Q4_K_M（4-bit）中等够用（推荐新手）大多数人的选择
Q2（2-bit）最小较差电脑配置很低的人

Q4_K_M 是性价比最高的选择——文件小一半，质量只降一点点。

MoE 是什么？——”专家小组协作”

MoE（Mixture of Experts，混合专家） = 模型内部有多个”专家小组”，每次只调用最相关的几个。

  • 传统模型 = 所有员工都参与每个项目（慢、费资源）
  • MoE 模型 = 每个项目只叫最相关的几个专家（快、省资源）

MoE 模型可以在参数量很大的同时，推理速度很快。就像一个大公司，但每次开会只叫相关的人。

⚠️ 合理预期管理（重要！装完不失望的关键）

本地模型的能力 ≈ 云端模型的 60-70%

任务类型本地模型表现说明
✅ 写日常文案80-90% 可用小红书文案、邮件、日记完全没问题
✅ 翻译70-80% 可用日常翻译够用，专业文档需要人工校对
✅ 简单编程70-80% 可用写脚本、改 bug、补全代码没问题
⚠️ 复杂推理50-60% 可用数学题、逻辑推理不如云端大模型
⚠️ 创意写作60-70% 可用能写但不够惊艳，需要人工润色
❌ 专业领域40-50% 可用法律、医疗等专业内容需要人工审核

免费的代价

  1. 需要自己动手配置 —— 不像 ChatGPT 打开就能用，本地 AI 需要安装、下载模型、配置参数
  2. 响应速度取决于你的电脑 —— 好电脑秒回，差电脑可能要等几秒到几十秒
  3. 模型能力有限 —— 同级别参数下，本地模型 ≈ 云端模型的 60-70%

本地模型更擅长什么？不擅长什么？

✅ 擅长❌ 不擅长
日常对话和写作复杂数学计算
代码补全和简单编程需要最新知识的问答（模型训练数据有截止日期）
翻译和总结高精度专业领域内容
批量处理重复任务实时性要求极高的场景

本地 AI 不是要取代 ChatGPT，而是给你一个免费、隐私、无限制的 AI 助手。接受它的不完美，你会用得开心很多。

主流工具介绍（不装，先认识）

1️⃣ Ollama —— “最简单的本地模型启动器”

适合人群：喜欢命令行、想要最简单体验的人

特点：

  • ✅ 一行命令下载并运行模型
  • ✅ 支持 Mac / Windows / Linux
  • ✅ 社区模型丰富（1000+ 模型可选）
  • ⚠️ 默认是命令行界面（没有图形界面，但第2篇会教你）

一句话：Ollama 是本地 AI 界的”微信”——最简单、最流行。

官网：https://ollama.com

2️⃣ LM Studio —— “带界面的模型管理器”

适合人群：不喜欢命令行、想要图形界面的人

特点：

  • ✅ 有漂亮的图形界面，点点鼠标就能用
  • ✅ 内置模型搜索和下载
  • ✅ 支持 Mac / Windows / Linux
  • ✅ 可以实时调整对话参数（温度、最大长度等）
  • ⚠️ 功能比 Ollama 少一些（比如不能直接作为 API 给其他工具用）

一句话：LM Studio 是本地 AI 界的”QQ”——界面好看，上手简单。

官网：https://lmstudio.ai

3️⃣ MLX —— “Apple 芯片专属推理框架”

适合人群：Mac 用户（M1/M2/M3/M4 芯片），追求极致性能

特点：

  • ✅ Apple Silicon 专属优化，速度比通用框架快很多
  • ✅ 内存管理优秀，能跑更大的模型
  • ⚠️ 只支持 Mac（不支持 Windows/Linux）
  • ⚠️ 需要一定命令行基础

一句话：MLX 是 Mac 用户的”专属加速器”——让你的 Mac 跑 AI 更快。

GitHub：https://github.com/ml-explore/mlx

各工具对比表

特性OllamaLM StudioMLX
界面命令行图形界面命令行
平台Mac/Win/LinuxMac/Win/Linux仅 Mac
上手难度⭐⭐（简单）⭐（最简单）⭐⭐⭐（需要命令行基础）
模型数量1000+500+较少（但质量高）
作为 API 使用✅ 支持⚠️ 有限支持❌ 不支持
适合新手✅ 是✅✅ 最适合❌ 不适合
适合进阶✅ 是⚠️ 一般✅✅ 最适合 Mac

我该选哪个？

你的情况推荐工具
纯小白，什么都不懂LM Studio（图形界面，点点鼠标）
愿意学一点命令行，想要更多功能Ollama（最简单、最流行）
Mac 用户，追求极致性能MLX（Apple Silicon 专属优化）
不确定先装 Ollama，第2篇手把手教你

不管选哪个工具，核心都是”下载模型 → 运行模型 → 和 AI 对话”。工具只是入口，学会了 Ollama，换其他工具也很容易。

本节成果

  • ✅ 你听懂了 AI 圈的基本行话（参数、量化、MoE）
  • ✅ 你认识了三个主流工具：Ollama、LM Studio、MLX
  • ✅ 你对本地 AI 的能力有了合理预期（不夸大、不低估）
  • ✅ 你知道自己该选哪个工具了

下一步

👉 第2篇：手把手安装 Ollama（Mac + Windows）

  • 学会 3 个命令行命令，读完只需 2 分钟
  • Mac / Windows 安装指南（每步截图）
  • 验证安装成功

参考来源

  1. Ollama 官网：https://ollama.com
  2. LM Studio 官网：https://lmstudio.ai
  3. MLX GitHub：https://github.com/ml-explore/mlx
  4. Ollama 模型库：https://ollama.com/library
  5. LocalClaw 模型推荐工具：https://www.localclaw.io/

—

首发公众号： 圆点 Agent 栈

原文：零基础认识本地 AI 工具

发表回复