39k Star 的 AI 工程圣经：503 节课，从零手写一个 LLM

大家好，我是老张。

你有没有这种感觉——AI 工具用了一大堆，但真要问你"Transformer 的 Attention 到底怎么算的"，脑子一片空白。调个 API 谁都会，但一碰到线上模型推理慢、显存 OOM、Agent 死循环，就只能干瞪眼。

老张自己也是从"调包侠"过来的。直到我发现了这个 GitHub 项目——AI Engineering from Scratch，39k Star，503 节课，从线性代数一路讲到多智能体集群。

而且它的理念很硬核：每个算法都从裸 NumPy 写起，写完再用 PyTorch 跑一遍，最后产出一个能用工具。 不搞"5 分钟速成"，不卖课，MIT 开源。

今天聊聊这个项目为什么值得放进你的收藏夹。

📊 项目速览

🚀 20 个阶段：从数学到多智能体集群

整个课程像搭积木一样，层层递进。老张把 20 个阶段理了一下：

Phase 0   — 环境搭建（Docker、GPU、Linux）
Phase 1   — 数学基础（线性代数、微积分、概率）
Phase 2   — 经典 ML（回归、决策树、SVM）
Phase 3   — 深度学习核心（手写反向传播、自己造框架）
Phase 4   — 计算机视觉（CNN → YOLO → Stable Diffusion → 3D GS）
Phase 5   — NLP 基础（分词 → 词向量 → Seq2Seq）
Phase 6   — 语音 & 音频
Phase 7   — Transformer（Attention 从零实现）
Phase 8   — 生成式 AI
Phase 9   — 强化学习
Phase 10  — 从零写 LLM（Tokenization → Pretraining → SFT → RLHF）
Phase 11  — LLM 工程（RAG、Fine-tuning、量化部署）
Phase 12  — 多模态
Phase 13  — 工具 & 协议（MCP Server 从零搭建）
Phase 14  — Agent 工程（Agent Loop、Tool Calling、Memory）
Phase 15  — 自主系统
Phase 16  — 多 Agent & Swarm
Phase 17  — 基础设施 & 生产部署
Phase 18  — 伦理 & 对齐
Phase 19  — 综合项目
 登录后复制

1️⃣ 每节课六步走 —— MOTTO → PROBLEM → CONCEPT → BUILD → USE → SHIP

不是"看完视频就完了"，而是：

MOTTO   → 一句话核心思想
PROBLEM → 这个算法解决了什么痛？
CONCEPT → 图解 + 直觉理解
BUILD   → 裸写实现（只用 NumPy，不用框架）
USE     → 同样的事情用 PyTorch 做一遍
SHIP    → 产出一个可用的 prompt / skill / agent / MCP server
 登录后复制

比如 Phase 14 第一课「Agent Loop」，120 行纯 Python，零依赖：

def run(query, tools):
    history = [("user", query)]
    for step in range(MAX_STEPS):
        msg = llm(history)
        if msg.tool_calls:
            for call in msg.tool_calls:
                result = tools[call.name](**call.args)
                history.append(("tool_result", call.id, result))
            continue
        return msg.content
    raise StepLimitExceeded

写完这个 Agent Loop，你就理解 Claude Code、Codex CLI 这些工具的内核在干什么了。

2️⃣ 四语言覆盖 —— 不止 Python

大多数 AI 教程只教 Python。这个项目覆盖了四种语言：

运维人看 TypeScript 和 Rust 部分尤其有用——MCP Server 实战、高性能推理部署都是刚需。

3️⃣ 503 节课 = 503 个可复用工具

每节课结束不是"恭喜你学会了"，而是给你一个能直接用的东西：

• Prompt 模板 → 粘贴到任何 AI 助手就能获得专家级帮助
• Skill 文件 → 丢到 Claude/Cursor/Codex/Hermes 的 skills 目录即生效
• Agent 配置 → 部署成自主 Worker
• MCP Server → 接入任何支持 MCP 的客户端

一行命令全部安装：

python3 scripts/install_skills.py

503 个工具装完，你手里就有一套完整的 AI 工程工具箱。

4️⃣ 内置 Agent Skill —— AI 助教陪跑

作者还贴心地做了两个 Agent Skill，装到 Claude、Cursor、Codex 或 Hermes 里就能用：

• /find-your-level — 10 道题测你的水平，推荐从哪个 Phase 开始
• /check-understanding — 阶段性测验，告诉你哪里没掌握、该复习哪节课

相当于有个 AI 助教手把手带你走。

5️⃣ 作者也是 Agent Memory 的作者

项目作者 Rohit Ghumare，也是 Agent Memory（#1 持久化记忆工具）的作者。懂 Agent 的人写的 AI 教程，质量有保障。

6️⃣ 免费 + MIT 协议

没有付费墙，没有"试看 3 节"，503 节课全部免费。MIT 协议，你拿去商用、改编、教课都行。

💡 老张的评价

✅ 亮点

• 从零造轮子：真正理解 AI，不是"调包侠"速成。Backprop 从裸矩阵乘法写，Attention 从点积算起
• 产出导向：每节课产出一个能用的工具，学的和用的无缝衔接
• 覆盖面恐怖：503 节课从数学到 Swarm，市面上没有第二个这么全的
• 多语言实战：不只 Python，TypeScript + Rust 的覆盖让后端/运维也能上车
• 社区活跃：39k Star、150k 读者/月，提问不愁没人回

⚠️ 值得注意

• 不是速成课：~320 小时，不是周末两天能刷完的。要投入
• 部分阶段还在施工：20 个阶段中部分课节标了"draft"，但核心路线已经完整
• 有一定门槛：需要会写代码（至少一门语言），完全零基础会比较吃力
• 英语材料：全英文，但代码和公式是通用语言，读懂问题不大

🎯 适合谁？

🔗 资源汇总

💬 互动话题

1. 你觉得自己是"调包侠"还是"造轮子派"？ 老张承认以前是前者，最近在补课。
2. 503 节课你要是每天学 1 节，差不多 1 年半。你会坚持吗？
3. 运维人学 AI 应该侧重什么？ 老张觉得是 LLM 推理部署 + Agent 工程 + MCP 工具链。

觉得有用就点个「在看」，转发给想学 AI 又不知道从哪开始的同事。