动手自建

本地大模型怎么跑起来:新手从 0 装好第一个开源 AI

你和大模型聊天的内容,真的只属于你吗?用网页版,记录躺在别人的服务器上;在自己电脑上跑,模型下载到本地,对话不出本机。这篇就讲清楚:新手怎么用开源工具,把第一个 AI 跑起来。

一、先想清楚:你要哪条路线

本地跑 AI 主要有三条路,难度和体验完全不同:

· 纯桌面端(最省事):装个软件,下载模型,直接聊;
· 一体化工作台:把多个模型、知识库、文档问答打包成类 ChatGPT 界面;
· 自托管网页:在本地起一个服务,浏览器访问,适合想深度折腾的人。

二、路线 A:LM Studio,新手最稳的第一步

LM Studio 是图形化桌面应用,下载模型、加载、聊天一条龙,不用碰命令行。它的定位就是「让普通人也能在笔记本上跑模型」。显存不够也能跑小模型(如 3B–8B 量级),先体验起来最重要。

三、路线 B:AnythingLLM,把 AI 变成你的私人工作台

AnythingLLM 把本地模型、你自己的文档、网页抓取拼成一个工作台:你能「投喂」PDF 让它基于你的资料回答,而不是瞎编。适合做资料整理、私人知识库。

四、路线 C:Open WebUI,自托管玩家的 ChatGPT 平替

Open WebUI 在本地起一个网页界面,功能贴近商业产品:多模型切换、对话管理、插件。配合本地推理后端(如 LocalAI)就能完全离线用。

五、不止聊天:图像、语音也能本地跑

本地 AI 不止文字。想跑绘图,有 ComfyUISD WebUI;想做语音转写,有 Whisper。嫌一个个装麻烦,Pinokio 能一键拉起上面大多数开源 AI 项目。

写在最后

我们专门整理了一份 本地 AI 怎么选 的对比专题,把显存需求、适合人群、踩坑点都列成了表。先拿 LM Studio 跑通第一个模型,再决定要不要往深了折腾。

发现错漏,或有想看的专题?

去 GitHub 提 Issue 写邮件给我

本站不追踪你;投稿与纠错均不要求注册。