File not found
\n本站基于 VuePress + Theme Hope 构建，部署在 Cloudflare Pages。
\n你可以在页面的 frontmatter 中禁用主题功能。
\nnavbar: falsesidebar: falsebreadcrumb: falsetoc: falselastUpdated: falsecontributors: falseeditLink: falsebackToTop: false布局包括:
\n\n同时每个页面包含:
\n主题也带有以下元素:
\n\n你可以在主题选项和页面的 frontmatter 中自定义它们。
\n", "date_published": "2026-06-05T19:41:49.000Z", "date_modified": "2026-06-05T19:41:49.000Z", "authors": [], "tags": [ "使用指南" ] }, { "title": "Markdown 展示", "url": "https://zhuonixian.pages.dev/demo/markdown.html", "id": "https://zhuonixian.pages.dev/demo/markdown.html", "summary": "VuePress 主要从 Markdown 文件生成页面。因此你可以使用它轻松生成文档或博客站点。", "content_html": "VuePress 主要从 Markdown 文件生成页面。因此你可以使用它轻松生成文档或博客站点。
\n\n此文字有脚注[1].
\n19th H2O
\n你可以标记 重要的内容。
\nVuePress Theme Hope 十分强大.
\n提示
\n提示容器
\n警告
\n警告容器
\n危险
\n危险容器
\n详情容器
\n这是脚注内容 ↩︎
\nVuePress Theme Hope 允许你通过 frontmatter 来自定义页面。
\n你可以通过 frontmatter 设置页面的标题、图标、分类、标签、排序等信息。
\n六月初，天气渐热，窗外的树木已经郁郁葱葱。
\n\n最近在整理自己的技术笔记，想着不如搭个博客，把零散的知识体系化。说干就干，花了一个周末的时间，用 VuePress 搭好了这个站点。
\n选择 VuePress Theme Hope 作为主题，功能丰富，界面也好看。部署在 Cloudflare Pages 上，免费且国内访问速度不错。
\n有了博客之后，打算坚持写一些东西：
\n不求多，但求持续。
\n\n\n", "date_published": "2026-06-01T00:00:00.000Z", "date_modified": "2026-06-05T19:41:49.000Z", "authors": [], "tags": [ "生活" ] }, { "title": "读书笔记：原则", "url": "https://zhuonixian.pages.dev/posts/life/reading-principles.html", "id": "https://zhuonixian.pages.dev/posts/life/reading-principles.html", "summary": "Ray Dalio 的《原则》是一本关于决策和生活哲学的书。", "content_html": "\n种一棵树最好的时间是十年前，其次是现在。
\n
Ray Dalio 的《原则》是一本关于决策和生活哲学的书。
\n\n面对现实，不要被期望蒙蔽。认清事物运行的规律，是做出正确决策的基础。
\n在组织中保持信息透明，鼓励坦诚的反馈，这有助于快速发现问题。
\n书中的「痛苦 + 反思 = 进步」这个公式让我印象深刻。每次遇到困难和痛苦时，如果能够冷静下来反思，就能从中获得成长。
\n\n\n如果你不是在失败，你就是没有在努力突破极限。
\n
这本书适合反复阅读，不同阶段会有不同的理解。
\n", "date_published": "2026-05-20T00:00:00.000Z", "date_modified": "2026-06-05T19:41:49.000Z", "authors": [], "tags": [ "生活" ] }, { "title": "Cloudflare Pages 部署指南", "url": "https://zhuonixian.pages.dev/posts/tech/cloudflare-deploy.html", "id": "https://zhuonixian.pages.dev/posts/tech/cloudflare-deploy.html", "summary": "Cloudflare Pages 是一个免费的静态网站托管平台，支持自动构建和全球 CDN 加速，非常适合部署 VuePress 博客。", "content_html": "\nCloudflare Pages 是一个免费的静态网站托管平台，支持自动构建和全球 CDN 加速，非常适合部署 VuePress 博客。
\n\n登录 Cloudflare Dashboard，进入 Workers & Pages → 创建 → Pages → 连接到 Git。
\n| 配置项 | 值 |
\n|
日常开发中经常用到的 Git 命令整理。
\n\n# 初始化仓库\ngit init\n\n# 克隆仓库\ngit clone git@github.com:user/repo.git\n\n# 查看状态\ngit status\n\n# 添加文件\ngit add .\ngit add file1.md file2.md\n\n# 提交\ngit commit -m \"feat: add new feature\"\n\n# 推送\ngit push origin main\n\n# 拉取\ngit pull origin main# 创建并切换分支\ngit checkout -b feature/new-feature\n\n# 切换分支\ngit checkout main\n\n# 合并分支\ngit merge feature/new-feature\n\n# 删除分支\ngit branch -d feature/new-feature\n\n# 查看所有分支\ngit branch -a# 撤销工作区修改\ngit checkout -- file.md\n\n# 撤销暂存区\ngit reset HEAD file.md\n\n# 查看提交历史\ngit log --oneline --graph\n\n# 查看某个文件的修改历史\ngit log -p file.md# 创建标签\ngit tag v1.0.0\n\n# 推送标签\ngit push origin v1.0.0\n\n# 查看所有标签\ngit taggit stash 临时保存修改git cherry-pick <hash> 选择性合并提交.gitignore 忽略不需要跟踪的文件之前一直想搭建一个属于自己的博客，记录学习过程和技术探索。经过一番调研，最终选择了 VuePress + Theme Hope 方案。
\n\n在众多博客框架中，我最终选择 VuePress Theme Hope 的原因：
\n| 技术 | 用途 |
\n|
日常使用 Linux 过程中积累的一些实用技巧。
\n\n# 按名称查找\nfind . -name \"*.log\"\n\n# 按内容搜索\ngrep -rn \"search_text\" /path/to/dir/\n\n# 查找大文件\ndu -sh * | sort -rh | head -10# 查看端口占用\nlsof -i :8080\nss -tlnp | grep 8080\n\n# 杀掉进程\nkill -9 $(lsof -t -i :8080)\n\n# 查看进程树\nps auxf# 查看磁盘使用\ndf -h\n\n# 查看目录大小\ndu -sh /path/to/dir\n\n# 清理系统缓存\nsudo sync && sudo sysctl -w vm.drop_caches=3# 测试网络连通性\ncurl -I https://example.com\n\n# 下载文件\nwget -c https://example.com/file.tar.gz\n\n# 查看公网 IP\ncurl ifconfig.me# 批量重命名\nfor f in *.txt; do mv \"$f\" \"${f%.txt}.md\"; done\n\n# 监控日志\ntail -f /var/log/syslog\n\n# 快速创建临时 HTTP 服务\npython3 -m http.server 8080Docker 和 Kubernetes 解决的是不同层面的问题：Docker 关注容器的构建和运行，Kubernetes 关注容器的编排和管理。两者是互补关系而非竞争关系。
\nDocker 让应用的打包和运行标准化。核心概念包括：
\nDocker 解决了环境一致性问题，是现代开发工作流的基础。
\nK8s 在容器之上提供大规模集群管理：Pod（最小调度单元）、Service（稳定访问入口和负载均衡）、Deployment（声明式管理副本数和更新策略）。K8s 解决的是高可用、弹性伸缩和滚动更新等运维难题。
\n两者处于不同层级：代码 → Dockerfile → 镜像 → K8s Pod → K8s Service。Docker 负责"打包和运行"，K8s 负责"调度和管理"。类比：Docker 是集装箱，K8s 是港口调度系统。单机开发用 Docker Compose，多节点生产部署用 K8s。
容器化和编排是 DevOps 的技术基石。
\nGPT（OpenAI）、Claude（Anthropic）和 Gemini（Google）是 2026 年最具影响力的三大 LLM 产品线。它们各有侧重，理解差异有助于在不同场景下做出最优选择。
\n| 维度 | GPT | Claude | Gemini |
\n|
Obsidian、Notion 和 Logseq 是三款主流的个人知识管理工具，在核心理念和技术架构上有本质差异，适用于不同的使用场景。
\n| 功能 | Obsidian | Notion | Logseq |
\n|
Python、JavaScript 和 Go 是当代最具代表性的三种编程语言，分别主导了 AI/数据科学、Web 开发和云原生基础设施三大领域。
\nGo 的编译型架构使其运行性能远超 Python 和 JavaScript。Python 通过 NumPy/PyTorch 等 C 扩展弥补计算密集型场景。JavaScript 的 V8 JIT 编译实现不错的运行时性能。
\n| 领域 | Python | JavaScript | Go |
\n|
RAG 和 Compiled Wiki 代表了两种不同的"LLM + 知识"范式，它们在知识的存储、组织和利用方式上存在根本差异。
\nRAG（Retrieval-Augmented Generation）的工作流程是：
\nRAG 的本质是查询时检索——每次回答问题都需要重新搜索和发现知识。知识库中的文档保持原始状态，LLM 对这些文档的理解是即时的、临时的。
\nRAG 的优势在于实施成本低、可快速覆盖大量非结构化数据，适合企业文档问答、客服机器人等场景。
\nCompiled Wiki 的工作流程是：
\nCompiled Wiki 的本质是预处理编译——知识在被查询之前就已经被消化、组织和结构化。每次查询直接利用已有的高质量知识页面，无需重新从原始材料中提取信息。
\nAndrej Karpathy 在构建个人 LLM Wiki 时强调：知识应该是"编译后的"，而非每次都从源码重新编译。
\n| 维度 | RAG | Compiled Wiki |
\n|
VS Code、Cursor 和 Windsurf 代表了代码编辑器从传统工具到 AI 原生工具的演进光谱。三者都基于 VS Code 的技术底座，但在 AI 集成深度和产品哲学上有显著差异。
\n| 能力 | VS Code + Copilot | Cursor | Windsurf |
\n|
Andrej Karpathy 是人工智能领域最具影响力的研究者和教育家之一，以其在深度学习、自动驾驶和 AI 教育方面的贡献闻名。他是 LLM Wiki 理念的提出者，倡导将知识编译到大语言模型中以实现更高效的知识管理。
\nAndrej Karpathy，1986 年出生于捷克斯洛伐克（现捷克），加拿大裔美国计算机科学家。他曾担任 Tesla AI 总监，也是 OpenAI 的联合创始人和研究科学家。他在 YouTube 上发布的大规模 AI 教育内容影响了全球数百万学习者和开发者。
\nKarpathy 在多伦多大学获得计算机科学和物理学学士学位，后进入斯坦福大学攻读博士学位，师从著名计算机视觉专家 Fei-Fei Li 教授。在博士期间，他专注于卷积神经网络（CNN）的可视化和理解研究，其工作为深度学习模型的可解释性奠定了重要基础。博士论文题为"Generating and Understanding Images with Neural Networks"。
\n| 时间 | 事件 |
\n|
Anthropic 是一家专注于 AI 安全的美国人工智能公司，由前 OpenAI 核心成员于 2021 年创立。公司以"构建可靠、可解释、可控的 AI 系统"为使命，其旗舰产品 entities/claude 系列模型在 AI 助手市场中占据重要地位。
\nAnthropic 的创立源于对 AI 安全问题的深刻关注。创始团队认为，随着 AI 能力的快速增长，确保 AI 系统的安全性和可控性是当前最重要的技术挑战。公司采取了"安全优先"的研发策略，在追求模型能力提升的同时，投入大量资源研究 AI 对齐（alignment）技术。
\nAnthropic 的创始团队汇聚了 AI 安全研究领域的顶尖人才：
\n这一团队的共同特点是深度参与了 GPT-2/GPT-3 的研发，对大语言模型的能力和风险有第一手的理解。
\nConstitutional AI（宪法 AI）是 Anthropic 提出的核心安全框架。其核心思想是让 AI 系统遵循一组显式的"宪法原则"（constitutional principles）来指导自身行为，而非仅仅依赖人类标注者的反馈。模型通过自我批评（self-critique）和修正来学习符合这些原则的行为模式。这一方法与 concepts/llm-training-pipeline 中描述的 RLHF 流程密切相关。
\nAnthropic 认为，随着 AI 能力超越人类评估者，传统的 RLHF 方法将面临瓶颈。可扩展监督研究探索如何让较弱的监督者有效评估更强模型的输出，包括辩论（debate）、递归奖励建模等方法。
\nAnthropic 积极研究机械可解释性（mechanistic interpretability），试图理解神经网络内部的表征和计算机制，而不仅仅是黑箱行为分析。
\n| 时间 | 事件 |
\n|
Claude 是由 entities/anthropic 开发的大语言模型 AI 助手系列，以安全性、有用性和诚实性为设计原则。Claude 系列模型在长上下文理解、代码生成、多模态处理等方面具有行业领先的能力。
\nClaude 的命名灵感来源于信息论之父 Claude Shannon，象征着对语言理解和信息处理的追求。作为 Anthropic 的核心产品，Claude 体现了公司在 AI 安全领域的深厚积累——通过 Constitutional AI 方法，Claude 在保持高能力的同时展现出业界领先的安全性和可控性。
\nClaude 采用分层模型架构，为不同场景提供差异化能力：
\n每一代模型都在能力、速度和安全性上持续迭代提升。
\nClaude 支持高达 200K tokens 的上下文窗口，能够处理整本书籍、大型代码库和长篇文档。在长上下文的"大海捞针"测试中表现出色，能准确定位和理解超长文本中的信息。
\nClaude 具备强大的工具调用能力，能够与外部 API、数据库和服务集成。开发者可以定义工具 schema，Claude 会根据用户需求智能选择和调用合适的工具，构建复杂的自动化工作流。
\nClaude 支持图像理解，能够分析图表、文档截图、UI 设计等视觉内容，并结合文本进行综合推理。这一能力在文档分析、数据解读等场景中尤为实用。
\nClaude 在代码生成、调试和代码审查方面表现卓越。它精通主流编程语言，能够理解复杂代码库的架构，提供准确的重构建议和 bug 修复方案。
\nClaude Code 是 Anthropic 推出的命令行工具，将 Claude 的能力直接集成到开发者的终端环境中。它能够理解项目上下文、读写文件、执行命令，作为 AI 结对编程助手协助软件开发全流程。Claude Code 支持与 Git、测试框架和 CI/CD 系统的深度集成。
\nClaude 的安全对齐基于 entities/anthropic 提出的 Constitutional AI 方法。与传统的 RLHF 不同，Constitutional AI 引入了一组显式的原则来指导模型行为：
\n这一方法使 Claude 能够在减少有害输出的同时保持有用性，避免了过度拒绝（over-refusal）的问题。
\nClaude 对 concepts/prompt-engineering 的响应具有高度一致性和可预测性。它擅长遵循复杂的系统提示指令，在结构化输出、JSON 格式化、角色扮演等场景中表现稳定。这使得 Claude 成为 prompt engineering 实践和实验的理想平台。
\n\n\nAI 原生 IDE，以深度 LLM 集成重新定义开发者与代码的交互方式。
\n
Cursor 由 Anysphere 公司开发，于 2023 年发布。它基于 VS Code 的 fork 构建，但在架构层面深度集成了 AI 能力，而非以插件形式附加。Cursor 是 AI 编程 工具浪潮中的代表性产品。
\n基于编辑器上下文的智能代码补全，支持多行补全和跨文件推断。相比传统补全，能理解代码意图而非仅做模式匹配。
\n选中代码后通过自然语言指令直接修改，AI 在行内生成 diff 预览，开发者确认后应用。这是 Cursor 最具标志性的交互模式。
\n侧边栏对话界面，支持引用代码库中的文件、符号和文档作为上下文。可以用 @ 符号注入特定文件或文档。
多文件编辑的 Agent 模式，能自主规划和执行跨文件的代码修改任务。支持自动读取相关文件、生成修改方案并应用。
\n通过 .cursorrules 文件定义项目级别的 AI 行为规则，如编码风格、架构约束、命名规范等。这是 Cursor 在 IDE 对比 中的差异化特性。
| 特性 | Cursor | GitHub Copilot |
\n|
\n\n由 GitHub 和 OpenAI 联合开发的 AI 编程助手，开创了 AI 辅助编码的产品品类。
\n
GitHub Copilot 于 2021 年推出，是最早面向大众的 AI 编程助手。它通过分析代码上下文，实时提供代码补全和建议，标志着 AI 编程 时代的开启。由 GitHub 与 OpenAI 合作开发，底层基于 OpenAI 的 Codex 模型。
\n初始版本即支持基于上下文的单行和多行代码补全。编辑器内以灰色虚线形式展示建议，按 Tab 键即可采纳。
\n在编辑器内集成对话式 AI 助手，支持自然语言提问、代码解释、Bug 修复建议和单元测试生成。支持 VS Code 和 JetBrains 系列 IDE。
\n从 Issue 到 PR 的全流程 AI 辅助工具，能够自动分析 Issue、规划方案、编写代码并创建 Pull Request。
\n引入 Agent 能力，Copilot 可以自主执行多步骤编码任务，包括读取代码库、规划修改、编写和测试代码。
\nCopilot 的核心流程：采集编辑器上下文（当前文件、打开的标签页、项目结构）→ 构造 Prompt → 调用 LLM → 返回建议。后续版本引入了 RAG 机制，能检索代码库中的相关片段。
\n| 套餐 | 月费 | 功能 |
\n|
\n\nGoogle 旗下的 AI 研究机构，从 AlphaGo 到 AlphaFold，持续推动 AI 在科学与工程领域的突破。
\n
DeepMind 由 Demis Hassabis、Shane Legg 和 Mustafa Suleyman 于 2010 年在英国伦敦创立。2014 年被 Google 以约 5 亿美元收购。2023 年 4 月，Google 将 DeepMind 与 Google Brain 合并，组建 Google DeepMind，成为 Google 内部统一的 AI 研究部门。
\n2016 年，AlphaGo 击败围棋世界冠军李世乇，成为 AI 发展史上的里程碑事件。后续的 AlphaZero 进一步展示了通用强化学习的能力。
\nAlphaFold 2（2020）解决了蛋白质结构预测这一 50 年难题，被《Nature》和《Science》评为年度最大科学突破之一。AlphaFold 3（2024）将预测能力扩展到 DNA、RNA 及配体结构。
\nGemini 是 Google 的旗舰多模态模型系列，基于 Transformer 架构 构建。Gemini 1.5 Pro 引入了百万级 token 的长上下文窗口，Gemini 2.0 进一步强化了推理和 Agent 能力。
\n| 时间 | 事件 |
\n|
\n\nOpenAI 的 Generative Pre-trained Transformer 系列，定义了大语言模型的技术范式。
\n
GPT（Generative Pre-trained Transformer）是 OpenAI 开发的大语言模型系列，基于 Transformer 架构 的 Decoder 部分。从 2018 年的 GPT-1 到 2024 年的 GPT-4o，每一代都在规模和能力上实现了质的飞跃，深刻塑造了整个 AI 行业的技术路线。
\n1.17 亿参数，首次验证了"生成式预训练 + 刡精调"的范式，在 12 项 NLP 任务中 9 项达到 SOTA。
\n15 亿参数，展示了零样本（zero-shot）学习的能力。因生成文本质量过高，初期只发布小模型版本，引发关于 AI 安全的广泛讨论。
\n1750 亿参数，few-shot learning 成为核心能力。API 开放后催生了大量应用生态，标志着 Foundation Model 时代的到来。
\n多模态模型（文本 + 图像输入），在专业考试、代码生成、推理任务上大幅超越前代。技术报告首次系统披露了 RLHF 对齐方法。
\n"omni"模型，实现原生多模态能力（文本、音频、图像、视频），实时语音交互延迟降至毫秒级，标志着人机交互范式的转变。
\nChatGPT 于 2022 年 11 月基于 GPT-3.5 发布，是有史以来增长最快的消费级应用。后续迭代包括：
\n\n\nAI 开源社区的 GitHub，托管模型、数据集和应用，推动机器学习民主化。
\n
Hugging Face 于 2016 年由 Clment Delangue 等人在纽约创立，最初是一个面向青少年的聊天机器人公司。后转型为开源 ML 平台，如今已成为 开源 AI 生态的核心枢纽。公司估值超过 45 亿美元（2023）。
\n提供统一的 API 接口访问数千个预训练模型，支持 PyTorch、TensorFlow 和 JAX 框架。涵盖 NLP、计算机视觉、音频等任务，是 ML 工程师的标配工具。
\n开源模型托管平台，拥有超过 50 万个模型。支持模型版本管理（Git-based）、模型卡片（Model Card）和许可证标注。LLaMA、Mistral、Gemma 等主流开源模型均在此托管。
\n提供标准化数据集加载和预处理工具，托管超过 10 万个数据集。支持流式加载（streaming），可处理超大规模数据。
\n应用展示平台，支持 Gradio 和 Streamlit 框架。开发者可快速部署 ML 模型的交互式 Demo，支持 CPU 和 GPU 环境。
\n提供模型推理的云端 API，包括免费额度，降低了模型部署门槛。
\n| 时间 | 事件 |
\n|
\n\nMeta 旗下的 AI 研究部门，以 LLaMA 系列开源模型引领开源 AI 生态。
\n
Meta AI（前身为 Facebook AI Research, FAIR）是 Meta 公司的 AI 研究部门。以 Yann LeCun 为首席 AI 科学家，Meta AI 在计算机视觉、自然语言处理和强化学习等领域贡献卓著。最引人注目的是 LLaMA 系列开源模型，深刻改变了 AI 行业的开源格局。
\nLLaMA 系列催生了大量社区 微调 工作，如 Alpaca、Vicuna、WizardLM 等。
\nMeta 选择将强大的基础模型以开源形式发布，与 开源 AI 社区形成良性互动。这一策略不仅降低了 AI 开发门槛，也迫使闭源模型提供商不断提升竞争力。
\n| 时间 | 事件 |
\n|
\n\n本地优先的 Markdown 笔记工具，以双向链接和插件生态构建个人知识图谱。
\n
Obsidian 由 Steph Ango（ericax）和 Licat 开发，于 2020 年发布。其核心理念是"你的笔记永远属于你"——所有数据以纯 Markdown 文件存储在本地，不依赖任何云服务。它是目前最流行的 个人知识管理 工具之一。
\n使用 [双链语法] 创建笔记间的关联。反向链接面板自动展示所有引用当前笔记的页面，形成网状知识结构。
可视化笔记间的链接关系，帮助发现知识盲区和潜在联系。分为全局图谱和局部图谱两种视图。
\nObsidian 拥有超过 2000 个社区插件，覆盖主题定制、数据库（Dataview）、日记（Daily Notes）、Canvas 白板、PDF 标注等场景。核心插件与社区插件分离的设计保证了稳定性。
\nObsidian 是 LLM Wiki 工作流 的推荐前端工具。其双向链接机制与 LLM Wiki 的交叉引用规范天然契合：
\n[xxx/yyy](/posts/wiki/xxx/yyy.html) 双链语法直接映射为 Obsidian 链接| 特性 | Obsidian | Notion | Roam Research |
\n|
\n\n本地大语言模型运行工具，让开发者在个人设备上轻松部署和运行开源 LLM。
\n
Ollama 是一个开源的本地 LLM 运行框架，以极简的命令行界面让用户在 macOS、Linux 和 Windows 上运行各种开源大语言模型。它自动处理模型下载、GPU 加速和量化，大幅降低了本地部署的门槛。
\nOllama 支持丰富的开源模型家族：
\n通过 Modelfile 机制，用户可以导入任何 GGUF 格式的模型。
\n# 安装后即可使用\nollama run llama3.1 # 下载并运行模型\nollama list # 列出已安装模型\nollama pull mistral # 下载模型\nollama create mymodel -f Modelfile # 自定义模型Ollama 提供兼容 OpenAI API 格式的 REST 接口（默认端口 11434），可直接替换 OpenAI API 端点，便于本地开发和测试：
\ncurl http://localhost:11434/api/chat -d '{\n \"model\": \"llama3.1\",\n \"messages\": [{\"role\": \"user\", \"content\": \"Hello\"}]\n}'\n\n领先的 AI 研究与部署公司，GPT 系列和 ChatGPT 的创造者。
\n
OpenAI 于 2015 年由 Sam Altman、Elon Musk、Ilya Sutskever 等人共同创立，初始使命是确保通用人工智能（AGI）造福全人类。总部位于旧金山，是目前全球最具影响力的 AI 公司之一。
\nGPT 系列是 OpenAI 的旗舰产品线，从 GPT-1 到 GPT-4o，每一代都在语言理解和生成能力上实现显著跃迁。ChatGPT（2022 年 12 月发布）标志着大语言模型走向大众，两个月内用户突破一亿。
\nOpenAI API 是全球使用最广泛的 AI API 之一，提供 GPT-4、GPT-4o、Embeddings、DALL-E 等模型的访问接口，形成了庞大的开发者生态。
\n2019 年，OpenAI 从非营利组织转型为"有限营利"（capped-profit）公司。与 Microsoft 达成数十亿美元的战略合作，Microsoft 成为 OpenAI 的独家云服务提供商和主要投资者。
\n| 时间 | 事件 |
\n|
\n\nAI 驱动的问答搜索引擎，以实时信息综合和引用透明度重新定义搜索体验。
\n
Perplexity 于 2022 年由 Aravind Srinivas 等人创立，总部位于旧金山。其核心定位是"答案引擎"——用户提出问题，Perplexity 检索网络信息后由 LLM 综合生成带有来源引用的回答。它代表了搜索与 RAG 技术的深度融合。
\n用户输入自然语言问题，系统实时检索网络，综合多个来源生成结构化回答。每条回答均附带来源链接，确保可溯源性。
\n付费功能，支持多步骤推理和深度搜索。Pro Search 会将复杂问题分解为子查询，逐步收集信息后综合回答。
\n针对学术和专业研究场景的深度分析功能，能够进行更长时间的搜索和推理，生成完整的研究报告。
\n支持限定搜索范围：学术论文（Scholar）、数学计算（Math）、视频（Video）、社交（Social）等。
\n| 特性 | Perplexity | Google Search |
\n|
\n\nOpenAI CEO，硅谷连续创业者，当前 AI 浪潮最具影响力的推动者之一。
\n
Sam Altman（1985 年生）是美国科技企业家和投资者。现任 OpenAI CEO，是 ChatGPT 和 GPT 系列产品背后的核心领导者。他同时也是知名的创业投资人和 Y Combinator 前总裁。
\n19 岁时创立 Loopt（基于位置的社交网络），是 YC 2005 年首批孵化项目之一。2012 年以 4300 万美元出售。
\n2014 年，28 岁的 Altman 接替 Paul Graham 成为 YC 总裁。任内推动 YC 扩展到人工智能、核能等硬科技领域，投资了 Helion Energy、Retro Biosciences 等公司。
\n2015 年参与创立 OpenAI，2019 年出任 CEO。在他的领导下，OpenAI 从非营利研究机构转型为全球最具影响力的 AI 公司，推出 GPT-4、ChatGPT、DALL-E 等里程碑产品。
\n2023 年 11 月 17 日，OpenAI 董事会突然解雇 Altman，引发硅谷地震。超过 95% 的 OpenAI 员工签署公开信威胁离职。五天后 Altman 复职，董事会重组。此事件深刻揭示了 AI 公司治理结构的脆弱性。
\n\n\n前端部署平台和 Next.js 维护方，以极致的开发者体验推动现代 Web 和 AI 应用开发。
\n
Vercel 由 Guillermo Rauch 于 2015 年创立（前身为 ZEIT），总部位于旧金山。作为 Next.js 框架的维护方和最大的前端部署平台，Vercel 在现代 Web 开发 生态中扮演着关键角色。
\n提供零配置的前端部署服务，支持 Git 集成自动部署、Preview Deployments 和 Edge Network 全球分发。支持 Next.js、Nuxt、SvelteKit 等主流框架。
\n由 Vercel 主导开发和维护的 React 框架，是目前最流行的全栈 React 方案。核心特性包括 Server-Side Rendering（SSR）、Static Site Generation（SSG）、App Router 和 Server Actions。
\n开源的 AI 应用开发工具包，提供统一的流式 API 接口，支持 OpenAI、Anthropic、Google 等多家模型提供商。极大简化了 AI Chat 界面和流式响应的开发。
\n基于 V8 isolates 的边缘计算能力，支持在 Vercel 的全球边缘节点运行服务端逻辑。冷启动时间低于 1ms，适合 AI 应用的低延迟场景。
\n按需执行的服务端函数，支持 Node.js 运行时，可用于 API 路由、数据处理和 AI 推理调用。
\nVercel 在 AI 应用开发中的角色日益重要：
\n| 时间 | 事件 |
\n|
本指南面向希望从零构建 AI Agent 的开发者，覆盖架构设计到生产部署的完整流程。
\n一个功能完整的 Agent 包含三个核心组件：
\n不同场景对 LLM 的要求不同：
\n| 场景 | 推荐模型 | 原因 |
\n|
本指南将带你从零开始构建一个由 LLM Agent 驱动的个人知识库。
\n核心思路是：让 LLM Agent 作为你的知识助手，在 Obsidian 知识库中持续编写和维护结构化页面。
\nLLM Wiki 采用三层架构组织知识：
\nwiki/\n├── concepts/ # 概念层：技术概念的深度解析\n├── entities/ # 实体层：人物、产品、组织的介绍\n├── guides/ # 指南层：操作指南和教程\n├── comparisons/ # 对比层：技术方案和工具的对比分析\n├── topics/ # 主题层：综合性主题页面\n├── synthesis/ # 综合层：跨领域综合分析\n└── templates/ # 模板层：页面模板每一层有不同的粒度和目的：实体是知识的最小单元，主题是多个实体的聚合，综合分析是跨领域的深度思考。
\n在项目根目录创建 CLAUDE.md 文件，定义 LLM Agent 的工作规范：
[xxx/yyy](/posts/wiki/xxx/yyy.html) 格式）这个文件是 LLM Agent 的"宪法"，确保它在多轮交互中保持一致的输出质量。
\n在 wiki/templates/ 中为每类页面创建模板，包含预设的 frontmatter 字段和内容结构。模板确保所有页面风格一致，也降低了 Agent 的生成复杂度。
选择 3-5 个你熟悉的核心主题，收集相关的原始资料（博客文章、论文、技术文档），然后让 LLM Agent 将这些资料编译为结构化的 Wiki 页面。
\n关键原则：不要让 Agent 简单复制粘贴原文，而是要求它理解、综合、用自己的语言重新表达。编译过程本身就是知识消化。
\n页面创建后，检查并添加双向链接。每个页面至少应该引用 2-3 个相关页面。交叉引用是知识图谱的边，它使孤立的知识点连接成网络。
\nObsidian 的关系图（Graph View）是验证交叉引用质量的好工具——健康的知识图谱应该是互联的，而非多个孤岛。
\nLLM Wiki 的日常维护遵循三个核心流程：
\nQ：需要多少原始资料才能开始？
\nA：5-10 篇高质量文章就足以启动第一个主题的知识编译。
Q：知识库多大才算有用？
\nA：50-100 个页面的知识库已经能提供显著的查询价值。质量比数量更重要。
Q：如何处理过时信息？
\nA：在 frontmatter 中设置 status 字段标记页面状态，定期 Lint 时更新过时内容。
本指南从工程实践角度讲解如何构建 RAG（检索增强生成） 系统，覆盖文档处理到质量评估的完整链路。
\n文档分块（Chunking）是 RAG 效果的基础：
\n工具推荐：LangChain 的 RecursiveCharacterTextSplitter、LlamaIndex 的 SentenceSplitter。
嵌入模型 将文本转化为向量表示，直接影响检索质量：
\n| 模型 | 特点 | 适用场景 |
\n|
本指南覆盖 微调 的完整流程，从数据准备到模型部署。微调是将通用 LLM 适配到特定领域或任务的关键技术。
\n数据质量决定微调效果的上限。核心要求：
\nsystem/user/assistant），确保与目标模型的训练格式一致工具推荐：datasets（Hugging Face）用于加载和处理数据，cleanlab 用于数据质量诊断。
选型时考虑以下维度：
\n| 维度 | 说明 |
\n|
\n\n用 LLM Wiki 的"编译"思想替代 Dify 的自动解析，砍掉不稳定的分类环节，大幅提升输出质量。
\n
当前工作流存在三个连锁问题：
\n根本原因：知识库里的数据质量太低，靠检索和分类技巧无法弥补。
\n不要用 Dify 自动解析文档。改用 LLM 手动编译为结构化页面。
\n原始做法：上传 PDF/Word → Dify 自动分段 → 质量差
\n新做法：原始文档 → LLM 编译为 Markdown 页面 → 按结构分段 → 质量高
编译规则：
\n每篇文档编译为一个 Wiki 页面，结构如下：Obsidian 是一款本地优先的 Markdown 知识管理工具，以双向链接和关系图谱著称。本指南帮助你快速上手，并与 LLM Wiki 工作流无缝衔接。
\nwiki/ 目录可以直接作为 Vault 使用[文件名] 创建链接，被链接的文件会自动显示反向引用。这是 Obsidian 最核心的功能#tag 标记笔记，支持嵌套标签如 #project/active。标签适合横向分类，链接适合纵向关联| 快捷键 | 功能 |
\n|
本文档帮助你快速上手使用这个 LLM Wiki 知识库。
\nwiki/ 目录作为仓库路径推荐安装的 Obsidian 插件：
\n本 Wiki 采用分层架构组织知识：
\n页面之间通过双向链接 [xxx/yyy](/posts/wiki/xxx/yyy.html) 互相引用，形成知识网络。
添加新知识是最常见的操作，有两种方式：
\n示例指令：
\n请将这篇关于 Transformer 的文章编译为一个 concepts 页面：\n[URL 或粘贴内容]wiki/templates/ 中的模板）查询知识有两种方式：
\n直接向 Claude Code 提问。Agent 会阅读相关的 Wiki 页面，基于已有知识给出回答。如果知识库中没有覆盖相关内容，Agent 会提示你通过 Ingest 流程补充。
\nCtrl/Cmd + O 快速切换到任意页面Ctrl/Cmd + Shift + F 全文搜索知识库需要定期维护以保持健康：
\nupdated 日期，标记长时间未更新的页面可以指示 Claude Code 执行 Lint 操作：
\n请检查 wiki/ 目录中的所有页面，找出断链和格式不一致的问题Claude Code 是本 Wiki 的核心编写工具。以下是常见的协作模式：
\n详细的构建方法参见 构建 LLM Wiki 指南。
\n本指南是 提示词工程 的实战手册，帮助你在日常工作中系统性地编写高质量提示词。
\n一个结构清晰的提示词通常包含以下部分：
\n思维链（Chain of Thought） 证明示例的质量直接决定输出质量。选取原则：
\n面对复杂任务时，不要试图用一个提示词解决所有问题：
\n| 反模式 | 问题 | 改进方法 |
\n|
AI Agent（智能体）是以大语言模型（LLM）作为推理引擎，结合工具调用能力和自主决策机制，能够完成复杂任务的软件系统。与传统聊天机器人不同，AI Agent 不仅回答问题，还能主动规划步骤、调用外部工具、根据反馈调整策略，最终达成目标。
\nAndrej Karpathy 将当前阶段概括为 "vibe coding" 时代——人类提供意图，AI Agent 负责执行。这一范式的核心正是 Agent 架构。
\n一个典型的 AI Agent 系统包含四个关键模块：
\nReAct（Reasoning + Acting）是目前最主流的 Agent 模式。其核心思想是让 LLM 交替进行推理（Thought）和行动（Action），并通过观察（Observation）结果来指导下一步。这种 Thought-Action-Observation 循环使 Agent 能够在不确定环境中渐进式地解决问题。
\n随着任务复杂度增加，单一 Agent 难以应对所有场景。Multi-Agent 系统通过角色分工协作解决这一问题——例如一个 Agent 负责代码编写，另一个负责审查，第三个负责测试。CrewAI、AutoGen、LangGraph 等框架为 Multi-Agent 编排提供了基础设施。
\nAnthropic 提出的 MCP 是一种开放协议，标准化了 LLM 应用与外部数据源和工具之间的连接方式。MCP 使 Agent 能够以统一接口访问文件系统、数据库、API 等资源，大幅降低了工具集成的开发成本。
\nAI Agent 正从实验室走向生产环境，其能力边界仍在快速扩展中。
\n计算机视觉（Computer Vision, CV）是 AI 领域的重要分支，致力于让计算机从图像和视频中提取、分析和理解视觉信息。CV 技术是自动驾驶、医学影像、安防监控和增强现实等应用的核心驱动力。
\n2012 年 AlexNet 在 ImageNet 竞赛中的突破标志着深度学习在 CV 领域的全面崛起。此后 ResNet 通过残差连接解决了深层网络训练难题，YOLO 系列实现了实时目标检测，成为工业部署的主流选择。
\nTransformer 架构从 NLP 成功迁移到 CV 领域。ViT（Vision Transformer）将图像切分为 Patch 序列并用自注意力建模，在大规模数据上超越了 CNN 的性能上限。Swin Transformer 等变体通过层次化设计兼顾了效率和精度。
\nCLIP 模型通过对齐图像和文本的语义空间实现了零样本图像分类。GPT-4V、Gemini 等模型将视觉理解与语言推理统一在同一个框架中，标志着多模态 AI 的到来。
\nStable Diffusion、DALL-E 和 Midjourney 等扩散模型在图像生成领域取得了革命性突破。通过逐步去噪的生成过程，扩散模型能够根据文本描述生成高质量、高分辨率的图像，深刻改变了创意产业的 workflow。
\n深度学习（Deep Learning）是机器学习的子领域，通过多层神经网络自动学习数据的层次化表示。其核心思想是让模型自动从原始数据中提取由低级到高级的特征，减少人工特征工程的依赖。
\n深度学习的计算单元是人工神经元（感知机），通过激活函数引入非线性。常用的激活函数包括 ReLU、Sigmoid 和 GELU。反向传播（Backpropagation）算法配合梯度下降是训练神经网络的核心机制，链式法则使得损失函数对各层参数的梯度计算成为可能。
\n深度学习的发展与 GPU 算力密不可分。CUDA 和 PyTorch/TensorFlow 等框架使得 GPU 加速训练成为标配。数据并行、模型并行和流水线并行是处理大规模模型的三种主要并行策略。混合精度训练在保持精度的同时显著提升了训练速度。
\n尽管深度学习取得了巨大成功，但仍面临诸多挑战：对大量标注数据的依赖、模型可解释性差、对抗样本脆弱性、训练成本高昂以及灾难性遗忘等问题。这些局限推动了 Few-shot Learning、可解释 AI 和持续学习等研究方向的发展。
\n深度学习源于 机器学习，但已在众多领域形成了独立的方法论和工具链。
\nDevOps 是一种融合开发（Development）和运维（Operations）的文化与实践，旨在通过自动化和持续反馈加速软件交付，同时提升系统可靠性和团队协作效率。
\n持续集成（CI）要求开发者频繁将代码合并到主分支，每次合并触发自动化构建和测试。持续交付/部署（CD）将通过测试的变更自动发布到生产环境。GitHub Actions、GitLab CI 和 Jenkins 是主流的 CI/CD 工具。
\nDocker 通过容器技术将应用及其依赖打包为标准化单元，消除了"在我的机器上能运行"的问题。Kubernetes 作为容器编排平台，管理容器的部署、扩缩和故障恢复，已成为云原生基础设施的事实标准。
\nTerraform、Ansible 和 Pulumi 等工具将基础设施配置用代码定义和版本管理，实现了基础设施的可复现、可审计和自动化管理。IaC 是 GitOps 实践的基础。
\n可观测性三大支柱——日志（Logging）、指标（Metrics）和追踪（Tracing）——构成了生产环境健康监控的核心。Prometheus + Grafana 是指标监控的经典组合，ELK/EFK 技术栈用于日志聚合，Jaeger 用于分布式追踪。
\nGitOps 将 Git 仓库作为基础设施和应用状态的唯一可信来源，所有变更通过 Pull Request 触发。AIOps 利用机器学习分析运维数据，实现异常检测、根因分析和自动修复，代表了 DevOps 与 AI 结合的未来方向。
\nDevOps 实践是 软件工程在运维维度的延伸，AI 编程工具也在逐步渗透到 DevOps 工作流中。
\n个人知识管理（Personal Knowledge Management, PKM）经历了从纸质笔记到数字化、再到智能化的三个阶段。早期以文件夹分类为主，中期以标签系统为代表，当前阶段则以双向链接和知识图谱为核心范式。
\n每一次范式转移都在降低知识组织的摩擦，同时提升知识检索和联结的效率。
\nZettelkasten（卡片盒笔记法）由德国社会学家 Niklas Luhmann 创立，其核心理念是：
\n这一方法启发了现代双向链接工具的设计哲学。
\n双向链接（Bidirectional Links）是现代 PKM 工具的标志性特性。当页面 A 链接到页面 B 时，B 页面会自动显示反向引用。这种机制使知识联结变得可见、可追溯，形成知识图谱。
\n知识图谱的价值在于：它不仅存储知识，还揭示知识之间的关系。随着节点和边增多，图谱中涌现出的结构本身就是新的洞见。
\n大语言模型为知识管理带来了根本性变革：
\nRAG 技术使 LLM 能够利用外部知识库回答问题，而编译式 Wiki 则将知识预先结构化以获得更高质量的输出。
\nAndrej Karpathy 提出 LLM Wiki 的核心思想：将 LLM Agent 视为知识工作者，让它在 Obsidian 知识库中持续编写、更新、维护结构化知识页面。知识库不是被检索的原始数据，而是经过编译的、可复用的知识资产。详见 构建 LLM Wiki 指南。
\n机器学习（Machine Learning）是人工智能的核心子领域，旨在让计算机从数据中自动学习规律，而非依赖显式编程。它是现代 AI 应用的基石，覆盖了从推荐系统到自动驾驶的广泛场景。
\n特征工程是传统 ML 的核心环节。优质特征往往比模型选择更能决定最终效果。关键步骤包括特征提取、特征选择、特征变换（归一化、标准化）和特征构造。自动化特征工程工具（如 Featuretools）正在减少人工介入。
\n评估指标的选择取决于任务类型：分类任务常用准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 分数和 AUC-ROC；回归任务使用 MSE、MAE 和 R²。交叉验证（Cross-Validation）是防止评估偏差的标准方法。
\n过拟合是模型在训练集上表现优异但在新数据上泛化能力差的现象。常用对策包括 L1/L2 正则化、Dropout、早停（Early Stopping）和数据增强。偏差-方差权衡（Bias-Variance Tradeoff）是理解模型复杂度的核心框架。
\n随着数据规模增长和计算能力提升，深度学习在图像、语音、自然语言等领域逐步超越了传统 ML 方法。传统 ML 在小数据场景、可解释性要求和资源受限环境中仍有优势。微调技术使得预训练大模型能够快速适配特定任务，模糊了传统 ML 与深度学习的边界。
\n自然语言处理（Natural Language Processing, NLP）是人工智能与语言学的交叉领域，旨在让计算机理解、生成和处理人类语言。NLP 技术贯穿搜索引擎、智能助手、机器翻译和文本分析等核心应用。
\nNLP 任务按复杂度可分为多个层次：
\nNLP 经历了三个主要阶段：规则方法（正则表达式、上下文无关文法）→ 统计方法（HMM、CRF、TF-IDF + SVM）→ 神经网络方法（Word2Vec、CNN/RNN、Transformer）。每次范式转换都带来了显著的性能跃迁。
\n2018 年 BERT 引入双向预训练，刷新了多项 NLU 基准。GPT 系列则证明了大规模生成式预训练在文本生成任务上的强大能力。预训练 + 微调的范式成为 NLP 的主流方法论。
\n大语言模型（LLM）正在重塑 NLP 的研究范式：Prompt Engineering 替代了传统的特征工程，In-Context Learning 使得少样本甚至零样本学习成为可能。许多传统 NLP 任务（NER、情感分析、翻译）现在可以通过统一的 LLM 接口完成。
\n中文缺乏天然的词边界，分词质量直接影响下游任务效果。此外，中文的句法灵活性、丰富的指代表达和成语/典故的语义理解都给 NLP 带来独特挑战。
\n开源（Open Source）是一种倡导源代码公开、自由使用和协作开发的软件运动。从 Richard Stallman 的自由软件理念到 Linux 的广泛采用，开源已从哲学主张发展为驱动技术创新的核心模式。
\n选择开源协议是项目治理的基础决策：
\n协议选择直接影响项目的生态吸引力和商业兼容性。
\nAI 领域正在经历一场开源浪潮。Meta 的 LLaMA 系列、Mistral 的开源模型和 Stable Diffusion 证明了开源模型能够在性能上与闭源模型竞争。Hugging Face 的模型仓库已成为 AI 开源生态的基础设施，托管了数十万个模型和数据集。
\n健康的开源项目依赖清晰的治理结构：贡献者指南（CONTRIBUTING.md）、行为准则（Code of Conduct）、维护者（Maintainer）制度。BDFL（终身仁慈独裁者）模式与社区驱动的治理各有优劣。
\n科技巨头（Google、Meta、Microsoft）通过开源框架（TensorFlow、PyTorch、VS Code）构建生态护城河。企业参与开源的动机包括人才吸引、技术标准和降低研发成本。合理的开源策略需要在社区贡献和商业利益之间取得平衡。
\n开源不等于免费。Red Hat 的订阅模式、MongoDB 的 SSPL 协议、Open Core 模式都探索了开源与商业化的结合路径。AI 时代出现了"开放权重"与"真正开源"的争议，模型权重公开但训练数据封闭的灰色地带引发了新的讨论。
\n软件工程（Software Engineering）是将系统化、规范化的方法应用于软件的开发、运行和维护的学科。它不仅关注代码编写，更关注如何在团队协作中持续交付高质量软件。
\n经典设计模式（单例、工厂、观察者、策略等）提供了解决常见设计问题的可复用方案。在系统层面，架构风格从单体演进到微服务、事件驱动和 Serverless。选择架构风格需权衡团队规模、业务复杂度和运维能力。
\n高质量软件依赖多层保障：单元测试和集成测试确保功能正确性，Code Review 促进知识共享和缺陷拦截，CI/CD 流水线实现自动化构建和部署。静态分析工具（Linter、Type Checker）在编码阶段即可发现潜在问题。
\nAI 编程助手正在重塑软件工程实践。GitHub Copilot、Cursor 等工具将代码补全、调试和重构的效率提升了数倍。AI Agent 甚至能自主完成从需求分析到代码提交的全流程，但人类工程师在架构决策和质量把控上仍然不可替代。
\n软件工程师需关注数据隐私、算法公平性、安全漏洞和系统的社会影响。负责任的工程实践要求在追求效率的同时考虑技术对用户的潜在影响。
\n软件工程与 Web 开发紧密关联，Web 开发中的前端/后端工程化实践是软件工程原则在特定领域的具体应用。
\n现代前端开发以组件化框架为核心，构建在 JavaScript 生态系统之上：
\n前端工程化的其他关键要素包括 TypeScript（类型安全）、Vite（构建工具）和 Playwright（端到端测试）。
\n后端技术选型日趋多元化，不同语言在各自领域发挥优势：
\nAPI 是前后端通信的桥梁，主流范式包括：
\n在实际项目中，REST 仍是最广泛采用的方案，GraphQL 在复杂查询场景中展现优势，gRPC 则专注于服务间高性能通信。
\n现代 Web 应用的部署运维体系已高度云原生化：
\nCI/CD 流水线（GitHub Actions、GitLab CI）和基础设施即代码（Terraform、Pulumi）也是现代运维体系的重要组成部分。
\nAI 正在深刻改变 Web 开发的工作方式。AI Agent 工具如 Claude Code、Cursor 和 Copilot 能够理解项目上下文、自动生成代码、编写测试、执行重构。开发者正从"写代码"转向"审代码"——专注于架构决策和质量把控，将实现细节交给 AI。
\nVercel 的 v0 和类似的 AI 代码生成工具使原型开发速度提升了一个数量级。这种变化不是替代开发者，而是大幅提升了开发者的产出上限。
\nAgentic Coding（智能体编程）是指 AI Agent 在人类指导下自主完成编码任务的新范式。它超越了传统的代码补全，使 AI 能够理解需求、规划方案、编写代码、运行测试并进行迭代修改。Agentic Coding 是 topics/ai-agents 在软件开发领域的具体落地。
\nAI 辅助编程经历了三个阶段：代码补全（Copilot 式的行级建议）$\\rightarrow$ 对话式编程（Chat 模式，人类描述需求、AI 生成代码片段）$\\rightarrow$ Agentic Coding（AI 拥有文件系统读写、终端执行、代码搜索等工具权限，在人类监督下自主完成多文件、多步骤的编码任务）。关键跃迁在于 Agent 获得了"动手能力"——不再只是建议，而是直接操作代码库。
\n典型的 Agentic Coding 工作流包括五个阶段：理解需求（读取相关代码、文档、项目结构）$\\rightarrow$ 规划方案（分析修改范围、确定实施步骤）$\\rightarrow$ 编码实现（跨多文件编写和修改代码）$\\rightarrow$ 测试验证（运行测试套件、检查编译错误）$\\rightarrow$ 迭代修正（根据测试结果或人类反馈调整代码）。每个阶段 Agent 都可以利用 concepts/function-calling 调用工具获取信息或执行操作。
\nAgentic Coding 正在改变开发者的工作方式：从逐行编写代码转向审查和指导 AI 的输出。开发者需要培养新技能——精确描述需求、有效审查 AI 生成的代码、设计适合 Agent 理解的项目结构。它也推动了项目规范文件（如本项目的 CLAUDE.md）的流行，这些文件帮助 AI 快速理解项目上下文和约束。
\n当前 Agentic Coding 仍有明确局限：对复杂架构决策的判断力不足、长链条任务中容易累积错误、对隐含业务逻辑的理解有限。最佳实践是让 Agent 处理定义明确、边界清晰的任务，而将架构设计和关键决策留给人类。
\n注意力机制（Attention Mechanism）是深度学习中用于建模序列元素间依赖关系的核心计算范式。它使模型能够动态地"关注"输入中最相关的部分，而非依赖固定长度的上下文窗口。注意力是 concepts/transformer-architecture 的计算核心。
\nBahdanau Attention（2014） 首次在机器翻译中引入可学习的对齐机制，让解码器在生成每个词时自适应地关注源序列的不同位置，解决了 RNN 固定长度上下文向量的信息瓶颈问题。
\nLuong Attention（2015） 简化了注意力计算，提出了乘性（multiplicative）和加性（additive）两种评分函数，并引入了全局注意力和局部注意力的区分。
\nSelf-Attention（自注意力） 将注意力机制从跨序列对齐推广到序列内部，使每个位置能够直接与序列中所有其他位置交互。这一创新是 concepts/transformer-architecture 的基石。
\nMulti-Head Attention 通过并行多组独立的注意力计算，让模型在不同子空间中捕获不同类型的语义关系（如语法关系、语义共指、位置关系等），最终拼接并线性投影得到输出。
\n注意力机制将输入映射为三组向量：Query（Q，查询向量）、Key（K，键向量）、Value（V，值向量）。对于输入序列 $X$，通过可学习的权重矩阵 $W_Q$、$W_K$、$W_V$ 进行线性变换：
\n标准计算公式为 $\\text{Attention}(Q, K, V) = \\text{softmax}(QK^T / \\sqrt{d_k}) V$。除以 $\\sqrt{d_k}$ 是关键的缩放操作——当维度较大时，点积结果方差增大，softmax 会进入梯度极小的饱和区，缩放因子确保了梯度的稳定传播。
\n注意力机制的两个本质优势决定了其核心地位：一是全局感受野，每个位置可以直接访问序列中任意其他位置，路径长度为 $O(1)$，而 RNN 需要 $O(n)$；二是动态加权，权重完全由输入内容决定，实现了数据驱动的信息筛选。
\n现代优化如 Flash Attention 通过 IO 感知的分块计算将注意力从 $O(N^2)$ 内存瓶颈中解放出来，使得超长上下文（100K+ tokens）成为可能。
\nChain-of-Thought（CoT，思维链）是一种通过引导 LLM 逐步展开中间推理步骤来提升复杂任务表现的 concepts/prompt-engineering 技术。其核心观察是：当模型被要求"展示推理过程"而非直接给出答案时，在数学、逻辑和多步推理任务上的准确率显著提升。
\nKojima 等人发现，仅需在提示末尾添加 "Let's think step by step"，就能在无示例的情况下激活模型的推理能力。这种 Zero-shot CoT 方法无需构造复杂的示例，使用成本极低，适用于快速验证推理任务。其效果在不同模型上差异较大，通常在较大参数量（100B+）的模型上表现更稳定。
\nFew-shot CoT 在提示中提供几个包含完整推理过程的示例，让模型学习输出格式和推理风格。示例的质量和相关性至关重要——好的示例应涵盖不同的推理模式（如分解、类比、验证），并且推理步骤应清晰无跳跃。研究表明，即便示例中的推理过程包含错误，只要格式正确，模型仍能从中受益。
\nTree of Thought（ToT）将 CoT 的线性推理扩展为树状搜索结构。模型在每一步生成多个候选思路，通过评估函数选择最有前景的分支继续探索，支持回溯和剪枝。ToT 在需要探索和试错的规划类任务（如 24 点游戏、创意写作）中表现出色，但计算成本显著高于线性 CoT。
\nCoT 在数学推理（GSM8K、MATH）上的提升最为显著，准确率可提高 2-5 倍。在代码生成中，CoT 等价于让模型先写伪代码或算法描述再实现，显著减少了逻辑错误。值得注意的是，CoT 的效果与模型规模正相关——小模型可能出现"看似合理实则错误"的推理链，需要结合验证机制使用。
\n与直接回答相比，CoT 通过增加计算量换取推理深度。与 concepts/function-calling 结合时，模型可以调用外部工具（如计算器、代码解释器）来验证中间步骤，进一步提升可靠性。Self-Consistency 方法通过对同一问题生成多条推理链并投票选择最常见答案，在 CoT 基础上进一步提升鲁棒性。
\nConstitutional AI（CAI，宪法 AI）是由 entities/anthropic 提出的一种 AI 对齐方法。其核心思想是让 AI 系统遵循一组明确的"宪法原则"（Constitutional Principles）来指导自身行为，通过 AI 反馈代替人类反馈来实现规模化对齐，是 Anthropic 安全方法论的核心组成部分。
\n传统的 RLHF（基于人类反馈的强化学习）依赖大量人类标注者对模型输出进行偏好评判。这一方式面临三个瓶颈：人类标注成本高昂且难以规模化；标注者对有害内容的判断标准不一致；更根本的问题——当模型变得比人类更擅长生成看似合理的回答时，人类是否还能提供可靠的监督？CAI 正是为了解决这些问题而提出的。
\n阶段一：监督学习（SL）。给定一个可能产生有害输出的提示，模型首先生成一个初始回复（可能包含有害内容），然后被要求根据宪法原则对该回复进行批评（Critique），指出其中的问题，最后生成一个修订版本（Revision）。整个过程由模型自身完成，生成的修订回复作为 SFT 训练数据。
\n阶段二：强化学习（RL）。使用阶段一训练的 SFT 模型，对同一提示生成两个回复，让另一个 AI 模型（而非人类）根据宪法原则评判哪个更好。这些 AI 偏好数据用于训练奖励模型，再通过 PPO 进行策略优化。整个过程完全不需要人类标注。
\nCAI 的核心创新是用 AI 反馈（RLAIF, Reinforcement Learning from AI Feedback）替代人类反馈（RLHF）。RLAIF 的优势在于：可无限生成训练数据，成本远低于人类标注；评判标准由宪法原则统一定义，一致性强；可以设计针对特定安全问题的宪法原则。RLAIF 并非要完全取代 RLHF，实践中两者常结合使用。
\n宪法原则是一组自然语言指令，定义了模型应遵循的行为准则。典型的原则包括："选择最无害且最有帮助的回复"、"不要协助非法活动"、"尊重个人隐私"等。Anthropic 的 Claude 模型基于一组精炼的原则进行对齐，这些原则本身也随着研究和反馈不断迭代。
\n相比 InstructGPT 风格的 RLHF，CAI 更强调可扩展性和透明性——对齐标准以明确文本形式存在，而非隐含在人类标注数据中。相比红队测试（Red Teaming），CAI 是系统性的训练方法而非评估手段。CAI 与 concepts/llm-training-pipeline 中的 RLHF 阶段紧密衔接，是对对齐方法论的进一步发展。
\n嵌入（Embedding）是将离散的符号（词、句子、实体）映射到连续的低维向量空间的技术。好的嵌入能够捕获语义关系——语义相近的元素在向量空间中距离相近。嵌入是连接自然语言与数值计算的桥梁，是 concepts/attention-mechanism 和 concepts/vector-database 的基础。
\nWord2Vec（2013） 通过在大规模语料上训练浅层神经网络，为每个词学习一个固定的稠密向量。它揭示了一个重要性质：向量空间中的线性运算可以编码语义关系（如 $\\vec{king} - \\vec{man} + \\vec{woman} \\approx \\vec{queen}$）。但 Word2Vec 是静态的——"bank"在"河岸"和"银行"中拥有相同的向量。
\nContextual Embedding 由 ELMo 和 BERT 开创，根据上下文动态生成每个词的向量表示，解决了多义词消歧问题。在现代 concepts/transformer-architecture 中，嵌入层输出经过多层自注意力的不断更新，最终每个 token 的表示都融合了整个序列的上下文信息。
\n句子嵌入（Sentence Embedding）将整句话或段落映射为一个向量，用于句子级别的语义比较。SBERT（Sentence-BERT）通过 Siamese 网络结构在语义相似度任务上微调 BERT，生成高质量的句子向量。文档嵌入则处理更长的文本，通常采用分段嵌入后聚合的策略。
\n嵌入是 concepts/retrieval-augmented-generation 和 concepts/semantic-search 的核心组件。工作流程为：将文档库分块后计算嵌入向量并索引到 concepts/vector-database 中；查询时计算查询文本的嵌入，通过向量相似度检索最相关的文档片段，再送入 LLM 生成回答。
\n当前主流的嵌入模型包括：OpenAI 的 text-embedding-3 系列、Cohere 的 embed 模型、开源的 BGE（BAAI General Embedding）和 E5 系列。选择模型时需关注嵌入维度、最大输入长度、多语言支持以及 MTEB（Massive Text Embedding Benchmark）排行榜上的综合表现。
\n微调是指在预训练模型的基础上，使用特定领域或任务的数据继续训练模型参数，使模型适应下游需求的过程。它是 concepts/llm-training-pipeline 中连接预训练与实际应用的关键环节。
\n全量微调（Full Fine-Tuning） 更新模型的所有参数。效果通常最好，但显存需求极高（需要存储完整模型梯度和优化器状态），对于 70B+ 参数的大模型，实际部署成本往往不可承受。
\nLoRA（Low-Rank Adaptation） 是当前最流行的参数高效微调方法。其核心思想是冻结原始权重矩阵 $W$，仅训练低秩分解矩阵 $\\Delta W = AB$（其中 $A \\in \\mathbb{R}^{d \\times r}$，$B \\in \\mathbb{R}^{r \\times d}$，$r \\ll d$），将可训练参数量降低几个数量级。推理时将 $\\Delta W$ 合并回 $W$，不增加推理延迟。
\nQLoRA 在 LoRA 基础上引入 4-bit NormalFloat 量化和分页优化器，使 65B 模型的微调可在单张 48GB GPU 上完成，大幅降低了微调的硬件门槛。
\nAdapter 在 Transformer 层中插入小型前馈模块，仅训练 Adapter 参数。虽然比 LoRA 多一些推理开销，但在多任务切换场景下更具灵活性。
\nSFT 的标准流程包括：构造高质量的指令-回复对数据集 $\\rightarrow$ 选择合适的基座模型 $\\rightarrow$ 配置训练超参数（学习率通常为预训练的 1/10 到 1/100）$\\rightarrow$ 训练并监控验证集损失 $\\rightarrow$ 评估生成质量。关键原则是数据质量远比数量重要——数千条精心标注的高质量样本往往优于百万条噪声数据。
\n领域适应微调（Domain Adaptation Fine-Tuning）使用特定领域的专业数据（如医学文献、法律文书、金融报告）对通用模型进行微调，使模型在目标领域内表现更准确。实践中通常先进行持续预训练（Continue Pre-training）注入领域知识，再进行 SFT 对齐任务格式。
\n微调数据的质量直接决定模型表现。核心要求包括：标注准确性（回复内容正确无误）、多样性（覆盖目标任务的各类场景）、格式一致性（指令和回复遵循统一模板）、以及合理的难度梯度。低质量数据不仅浪费算力，还可能导致模型能力退化。
\nFunction Calling（函数调用）是指 LLM 根据用户请求，输出结构化的工具调用请求（而非纯文本回复）的能力。它使 LLM 能够与外部系统交互——执行搜索、查询数据库、调用 API——从而突破模型自身知识和能力的边界。
\n开发者通过 JSON Schema 描述可用函数的名称、参数和语义，连同用户消息一起发送给模型。模型分析用户意图后，可以选择生成一个结构化的函数调用请求（包含函数名和参数），而非直接生成文本回复。客户端执行实际函数调用后，将结果返回给模型，模型再基于结果生成最终回复。
\nconcepts/model-context-protocol（MCP）是 Function Calling 的标准化协议层。MCP 定义了模型与工具之间的统一通信标准，使工具可以跨不同 LLM 提供商复用。MCP 的设计理念是：任何符合 MCP 规范的工具服务器，都可以被任何支持 MCP 的 LLM 客户端使用，避免了工具集成为每个模型重复开发的问题。
\n并行调用（Parallel Function Calling）允许模型在单次推理中生成多个独立的函数调用请求，例如同时查询天气和航班信息。这减少了多轮交互的延迟，对需要聚合多个数据源的场景尤为重要。
\n流式调用（Streaming Function Calling）在模型生成长参数（如搜索查询字符串）时，以流式方式输出部分结果，降低用户感知的首字延迟。
\nFunction Calling 与 concepts/prompt-engineering 深度结合——prompt 中对工具的描述质量直接影响模型选择和使用工具的准确性。
\n知识图谱（Knowledge Graph）是一种以图结构组织知识的方式，通过"实体-关系-实体"的三元组（如 (巴黎, 是首都, 法国)）表示事实和概念之间的关联。它是结构化知识表示的经典范式，与基于自由文本的 Wiki 知识库形成互补。
知识图谱的基本组成单元是三元组（Triple）：主语（Subject）- 谓词（Predicate）- 宾语（Object）。大量三元组构成一个有向图，节点是实体或概念，边是关系类型。本体（Ontology）定义了图谱中允许的实体类型和关系类型，是图谱的 Schema 层。
\n知识图谱中的关键操作包括：实体链接（Entity Linking，将文本中的 mention 映射到图谱实体）、关系抽取（Relation Extraction，从文本中提取三元组）、知识推理（Knowledge Reasoning，通过已有三元组推导新事实）。
\nRDF（Resource Description Framework） 是 W3C 的知识图谱标准，使用 URI 标识实体，支持 SPARQL 查询语言，适合开放世界的知识共享和互操作。RDF 数据库称为 Triple Store。
\n属性图（Property Graph） 是工业界更流行的模型，节点和边都可以携带属性键值对，支持复杂查询（如 Neo4j 的 Cypher），在社交网络分析和推荐系统中应用广泛。
\n知识图谱嵌入（Knowledge Graph Embedding）将实体和关系映射到低维向量空间，使得真实三元组的得分高于虚假三元组。代表性方法包括 TransE、DistMult、ComplEx 和 RotatE。嵌入使得知识图谱可以与神经网络模型无缝集成，用于链接预测和关系推理。
\n本 LLM Wiki 项目本身可以视为一种轻量级知识图谱：每个 Wiki 页面对应一个概念实体，concepts/xxx 双链对应关系边。与正式知识图谱相比，Wiki 的优势在于人类可读性和灵活的文本表达；知识图谱的优势在于支持精确的图查询和自动推理。两者结合的方向是：用 LLM 从 Wiki 文本中提取三元组，构建可查询的知识图谱层。
\n知识图谱被广泛应用于搜索引擎（Google Knowledge Graph 提供知识面板）、智能问答（IBM Watson）、推荐系统（利用实体关系增强协同过滤）、以及 concepts/retrieval-augmented-generation 的知识增强（GraphRAG）。
\nLLM（Large Language Model）的训练流程是一个多阶段的系统工程，从原始数据到最终可用的模型，通常需要经历预训练、微调和对齐等关键阶段。理解这一流程对于把握 LLM 的能力边界和局限性至关重要。
\n预训练是 LLM 训练的第一阶段，也是最耗费计算资源的阶段。模型在大规模语料（通常为 TB 级别的文本数据，涵盖网页、书籍、代码等）上进行自监督学习，核心目标是 next-token prediction——给定前文，预测下一个 token 的概率分布。这一过程使模型习得语言的统计规律、世界知识以及推理能力的雏形。代表性的预训练框架包括 Decoder-only Transformer（如 GPT 系列）和 Encoder-Decoder 架构（如 T5）。
\n预训练后的模型虽然具备丰富的语言知识，但并不天然善于遵循指令。SFT 阶段通过高质量的指令-回复对数据，教会模型以对话的方式响应用户请求。数据质量远比数量重要——数千条精心标注的样本往往比百万条低质量数据更有效。这一阶段也被称为"指令微调"（Instruction Tuning）。
\nRLHF 是当前主流的对齐方法。其流程分为两步：首先训练一个奖励模型（Reward Model），该模型学习人类对回复质量的偏好判断；然后使用 PPO（Proximal Policy Optimization）等强化学习算法，根据奖励模型的反馈优化语言模型的输出策略。RLHF 显著提升了模型的有用性（helpfulness）和无害性（harmlessness）。entities/anthropic 在这一领域做出了开创性贡献。
\nDPO（Direct Preference Optimization）是 RLHF 的简化替代方案。它跳过奖励模型的训练步骤，直接利用人类偏好数据（preferred vs. dispreferred 回复对）通过简单的分类损失函数来优化策略模型。DPO 在工程实现上更简洁，训练稳定性更好，近年来被广泛采用。
\nPost-training 是模型发布前的最后阶段，涵盖多个维度的优化：安全对齐（确保模型拒绝有害请求）、能力增强（如代码生成、数学推理的专项提升）、红队测试（Red Teaming）以及安全 guardrails 的部署。这一阶段决定了模型的最终用户体验和安全水平。
\n\n\nAnthropic 推出的开放协议，标准化 LLM 应用与外部工具/数据源的通信方式。
\n
MCP（Model Context Protocol）是一个开放标准，解决了 LLM 应用与外部系统集成的碎片化问题。在 MCP 之前，每个 AI 工具的集成都需要定制开发；MCP 提供统一协议，一次开发即可在任何兼容的 AI 应用中使用。
\nMCP 采用客户端-服务器架构：
\n| 原语 | 用途 | 示例 |
\n|
提示工程是与大语言模型交互的核心技能，指通过精心设计输入文本（prompt）来引导模型产生期望输出的技术与方法。在模型能力既定的情况下，prompt 的设计质量直接决定了输出效果的优劣。理解 concepts/llm-training-pipeline 中的训练机制，有助于更有效地设计 prompt。
\nLLM 本质上是文本补全引擎——它根据输入上下文预测最可能的后续 token。提示工程的核心在于：如何构造这个上下文，使模型的预测方向与用户意图高度对齐。优秀的 prompt 不仅是"提问题"，更是为模型设定清晰的任务框架、输出格式和约束条件。
\n直接给出任务描述，不提供示例。适用于模型已经具备相关能力的简单任务。
\n在 prompt 中提供若干输入-输出示例，让模型通过上下文学习（in-context learning）理解任务模式。示例的选择和顺序会显著影响输出质量。
\n要求模型展示推理过程，而非直接给出答案。经典表述为 "Let's think step by step"。CoT 特别适用于数学推理、逻辑推导等需要多步思考的任务。其变体包括 Self-Consistency（多次采样取多数）和 Tree-of-Thought（探索多条推理路径）。
\n结合推理（Reasoning）和行动（Acting），让模型交替进行思考和工具调用。模型先分析问题，再决定使用什么工具获取信息，最后基于工具返回的结果继续推理。这一范式是 AI Agent 系统的基础。
\nSystem Prompt 是设定模型行为的高级指令，通常用于定义角色、设定约束和规定输出格式。好的系统提示应包含：角色定义、任务描述、输出格式要求、边界条件和安全约束。entities/claude 在系统提示的遵循能力上表现优异。
\nRAG（Retrieval-Augmented Generation）是一种将外部知识检索与 LLM 生成能力相结合的技术范式。它通过在推理时动态检索相关文档，将检索结果注入 prompt 上下文，从而让模型在不修改参数的情况下获取最新、特定的知识。
\nRAG 的工作流程分为两个核心阶段：
\n这种"检索 + 生成"的架构使 RAG 能够处理模型训练数据中未涵盖的最新信息，同时减少幻觉（hallucination）问题。
\n尽管 RAG 在实践中被广泛采用，但它存在根本性的局限：
\nRAG 和 Compiled Wiki 代表了两种不同的知识管理哲学。RAG 是"按需检索"模式，而 Compiled Wiki 是"预先编译"模式，将知识系统地组织并嵌入到模型的理解中。详见 comparisons/rag-vs-compiled-wiki。
\nRAG 目前广泛应用于企业知识库问答、客户支持自动化、法律文档检索、医疗辅助诊断等需要结合最新外部知识的场景。concepts/prompt-engineering 中的技巧对于优化 RAG 的 prompt 构造至关重要。
\n语义搜索（Semantic Search）是一种基于语义理解而非关键词匹配的信息检索方式。它通过 concepts/embedding 技术将查询和文档映射到同一向量空间，利用向量相似度来衡量语义相关性，从而检索到"意思相近"而不仅仅是"字面匹配"的结果。
\n关键词搜索（如 BM25、TF-IDF）基于词频统计和精确匹配，擅长处理包含特定专有名词、产品型号等精确查询。其优势是速度快、可解释性强，但无法理解同义词（"汽车" vs "轿车"）、上下位关系（"水果" vs "苹果"）和语义隐含。
\n语义搜索基于 concepts/embedding 的语义表示，能够理解查询的真正意图，跨越词汇鸿沟找到语义相关的结果。但它可能在精确匹配场景下不如关键词搜索（如搜索特定错误代码），且计算成本更高。
\n标准语义搜索流程分为三步：Query Embedding（将用户查询通过嵌入模型转换为向量）$\\rightarrow$ 向量相似度匹配（在 concepts/vector-database 中检索最相似的候选文档）$\\rightarrow$ 重排序（对初检结果进行精细化排序）。
\n初检阶段通常使用双编码器（Bi-Encoder）快速召回 Top-K 候选，重排序阶段使用 Cross-Encoder 对每个候选与查询进行深度交互计算精确的相关性分数，虽然速度更慢但精度显著更高。
\n混合搜索（Hybrid Search）将关键词搜索和语义搜索的结果融合，兼顾精确匹配和语义理解。常见策略是分别执行 BM25 和向量检索，通过 Reciprocal Rank Fusion（RRF）或加权分数合并两组结果。混合搜索已成为生产环境中的标准实践，效果通常优于单一方法。
\n分词（Tokenization）是将原始文本拆分为模型可处理的基本单元（token）的过程。它是 concepts/llm-training-pipeline 的第一步，直接影响模型的词汇量、处理效率和生成质量。分词粒度的选择是效率与表达能力之间的关键权衡。
\nBPE 是当前 LLM 最广泛使用的分词算法。其核心思路是迭代合并频率最高的字符对：从字符级别出发，统计相邻字符对的频率，将最高频的对合并为新符号，重复直至达到目标词汇量。BPE 自动学习子词单元，在常见词保持完整（如"learning"）的同时，将罕见词拆分为有意义的子词片段（如"un" + "familiar"），有效平衡了词汇量与覆盖度。
\nWordPiece（用于 BERT）与 BPE 类似，但选择合并对时基于语言模型似然增益而非频率，倾向于合并能提升整体概率的子词对。
\nSentencePiece 是一个语言无关的分词工具包，直接从原始文本（不依赖预分词）训练子词模型，支持 BPE 和 Unigram 两种算法。它被 LLaMA、Gemma 等模型采用，尤其适合多语言场景。
\n分词质量直接决定模型的输入表示效率。词汇量过大会导致嵌入矩阵膨胀、训练不充分；词汇量过小则文本被切分过细（如中文逐字切分），增加序列长度和计算成本。不同语言在相同 tokenizer 下的效率差异显著——同样的含义，日文和韩文所需的 token 数通常是英文的 2-4 倍，这直接影响了 API 调用成本和处理速度。
\n中文没有天然的词边界（空格），分词面临独特挑战。主流 LLM 的 tokenizer 对中文的处理通常处于字级别和子词级别之间，效率低于英文。一些中文优化模型（如 ChatGLM）专门设计了中文友好的 tokenizer，通过在中文语料上训练词汇表来提高中文的压缩率。
\n上下文窗口（Context Window）以 token 数为单位度量。分词粒度越细，同一文本消耗的 token 越多，有效上下文越短。理解所用模型的 tokenizer 行为对于合理利用上下文窗口、控制 API 成本至关重要。
\nTransformer 是 2017 年由 Google 团队提出的深度学习架构，其核心创新是摒弃了传统的循环和卷积结构，完全基于 concepts/attention-mechanism 实现序列建模。这一架构从根本上改变了 NLP 和 CV 的技术格局，是当前所有主流 LLM 的基础。
\nSelf-Attention（自注意力） 是 Transformer 的计算核心。每个位置的 token 通过三组线性变换生成 Query、Key、Value 向量，通过计算注意力权重来捕获序列内任意两个位置之间的依赖关系。Multi-Head Attention 将注意力空间拆分为多个子空间，使模型能同时关注不同类型的语义关系。
\n位置编码（Positional Encoding） 弥补了自注意力机制本身不具备位置感知的缺陷。原始 Transformer 使用正弦/余弦函数生成固定编码，后续工作演化出可学习的位置编码（Learned PE）和旋转位置编码（RoPE），后者被 LLaMA 等现代模型广泛采用。
\n前馈网络（FFN） 对每个 token 独立施加两层线性变换（中间层维度通常为隐藏层的 4 倍），配合非线性激活函数（原版使用 ReLU，现代模型多用 GELU 或 SwiGLU），为模型提供非线性表达能力。
\n残差连接与 Layer Normalization 贯穿每个子层，采用 Add & Norm 结构，有效缓解深层网络的梯度消失问题。Pre-Norm（先归一化再计算）已成为现代实现的标准选择。
\n原始 Transformer 采用 Encoder-Decoder 架构：编码器通过自注意力构建输入的全局表示，解码器则通过带掩码的自注意力（Masked Attention）和交叉注意力（Cross-Attention）逐步生成输出。GPT 系列仅使用 Decoder（单向注意力），BERT 仅使用 Encoder（双向注意力），而 T5、BART 等保留了完整的 Encoder-Decoder 结构。
\nTransformer 通过自注意力实现全局感受野，解决了 RNN 的长程依赖瓶颈和不可并行问题，也超越了 CNN 受限于局部窗口的特征提取能力。其计算复杂度在序列长度上的劣势，随着高效的 concepts/attention-mechanism 变体（如 Flash Attention）的出现而得到缓解。
\nTransformer 的影响远超 NLP 领域。Vision Transformer（ViT）证明了其在图像分类中的有效性，此后扩散模型（Diffusion Model）、蛋白质结构预测（AlphaFold）等领域也纷纷采用 Transformer 架构。它已成为深度学习的通用计算范式。
\n向量数据库（Vector Database）是专门为存储、索引和检索高维向量而设计的数据库系统。它是 concepts/embedding 技术和 concepts/retrieval-augmented-generation 架构的基础设施层，使大规模语义检索成为可能。
\n传统数据库基于精确匹配或范围查询（如 SQL 的 WHERE 子句），适合结构化数据检索。向量数据库则基于相似度度量（余弦相似度、欧氏距离、内积），解决的是"找出与查询最相似的 N 个向量"这一最近邻搜索问题。两者的互补性催生了混合检索方案——同时支持元数据过滤和向量相似度排序。
\n精确的 k-NN（k-Nearest Neighbors）搜索在大规模数据集上计算代价极高（$O(n \\times d)$）。近似最近邻（Approximate Nearest Neighbor, ANN）算法通过牺牲少量精度换取数量级的速度提升：
\nHNSW（Hierarchical Navigable Small World） 构建多层图结构，查询时从顶层开始逐层向下贪心搜索，时间复杂度约为 $O(\\log n)$。它是当前综合性能最优的 ANN 索引之一，查询延迟低且召回率高，被大多数向量数据库作为默认索引。
\nIVF（Inverted File Index） 将向量空间划分为多个 Voronoi 单元（cluster），查询时只搜索与查询最近的几个 cell，大幅减少计算量。IVF 常与 PQ 结合使用（IVF-PQ），在亿级数据集上实现高效检索。
\nPQ（Product Quantization） 将高维向量拆分为多个子空间并分别量化，用短编码代替原始向量存储。它是一种有损压缩方法，可将存储空间压缩 8-32 倍，适合内存受限的大规模场景。
\n向量数据库在 concepts/retrieval-augmented-generation 系统中用于存储文档的嵌入向量并实现语义检索。在推荐系统中，将用户和物品映射为向量后进行相似度匹配。在去重、以图搜图、语义缓存等场景中也有广泛应用。
\n随着 AI 能力的快速提升，安全问题已从学术讨论上升为全球性政策议题。本页面梳理 AI 安全的核心问题、主要方法和监管动态。
\n对齐（Alignment）的核心问题是：如何确保 AI 系统的行为符合人类意图和价值观。这包含三个子问题：
\nAnthropic 将对齐视为公司使命的核心，从创立之初就将安全研究置于与能力研究同等的位置。
\n当前主流的对齐技术路径：
\n通过人类标注者的偏好反馈训练奖励模型，再用强化学习优化 LLM 行为。GPT-4 和 Claude 都使用了 RLHF。局限：人类标注者本身可能有偏见，且难以评估复杂推理的正确性。
\n宪法 AI 由 Anthropic 提出：让 AI 根据一组显式定义的原则（"宪法"）自我评估和修正输出，减少对人类标注的依赖。优势是可扩展性和透明性——原则是公开的，可以审计和讨论。
\n系统性地尝试让 AI 产生有害输出，发现漏洞后修补。红队测试已成为模型发布前的标准流程，涵盖偏见、毒性、隐私泄露、危险信息等多个维度。
\n量化评估 AI 安全水平的工具：
\n评估的挑战在于"安全"的定义本身是文化相关的，且新的风险类型不断涌现。
\n超越当前能力的未来风险：
\n这些风险虽然尚未成为现实，但 AI 安全研究者认为提前研究至关重要——一旦能力突破，可能没有足够时间应对。
\n全球 AI 治理正在加速：
\n共同的挑战是如何在监管和创新之间取得平衡——过度监管可能抑制有益技术的发展。
\n从统计语言模型到自主 Agent，大语言模型经历了约十年的范式跃迁。本页面梳理这一进程的关键节点和技术脉络。
\n2017 年之前，语言建模主要依赖统计方法：
\n这些工作为 Transformer 的诞生奠定了思想和工程基础。
\nVaswani 等人在论文 "Attention Is All You Need" 中提出了 Transformer 架构，核心创新：
\nTransformer 的影响远超 NLP 领域——它成为计算机视觉（ViT）、语音、蛋白质结构预测等领域的通用架构。
\nTransformer 之后，预训练成为主流范式：
\nKaplan 等人（2020）和 Chinchilla 论文（2022）揭示了 Scaling Laws：
\nScaling Laws 直接推动了 训练流水线 的工程化。
\nGPT-4 的发布标志着 LLM 进入新阶段：
\n同期，Gemini（Google）和 Claude（Anthropic）也在多模态和长上下文处理方面取得突破。
\nLLM 从"语言理解"进化为"任务执行"：
\nAI 正在从根本上改变软件的构建方式。本页面分析 AI 辅助编程的演进路径及其对开发者和行业的影响。
\nAI 与编程的关系正在经历明确的阶段演进：
\n每个阶段并非替代前一个，而是叠加——开发者根据任务复杂度选择合适的自动化层级。
\nAndrej Karpathy 在 2025 年提出"Vibe Coding"概念：用自然语言描述意图，让 AI 生成代码，开发者专注于验证和调整。这不是偷懒，而是开发范式的本质变化：
\n软件工程 的重心正在迁移：
\n| 传统核心技能 | 新的核心技能 |
\n|
从简单的聊天机器人到复杂的多智能体系统，LLM 应用的架构模式已形成相对成熟的分类。本页面梳理常见的架构模式及其适用场景。
\n最基本的模式：用户发送一条消息，LLM 返回一次回复。
\n在单轮基础上维护会话上下文，LLM 能理解之前的交互历史。
\nRAG 通过外部知识检索增强 LLM 的回答质量：
\n用户问题 → 向量检索相关文档 → 文档 + 问题组合为 Prompt → LLM 生成回答Agent 将 LLM 从"被动回答"升级为"主动执行"：
\n详见 AI Agents。
\n多个 Agent 各司其职，协同完成复杂任务：
\n将 LLM 调用和工具操作编排为有向无环图（DAG）：
\n在自动化流程中嵌入人工审核节点：
\nLLM 调用成本高、延迟大，缓存是优化的关键手段：
\n对长文本生成场景，流式输出（Streaming）显著改善用户体验：
\nLLM 应用的运营成本需要持续优化：
\n生产环境的 LLM 应用需要完善的可观测性：
\n开源 AI 在 2023-2026 年经历了爆发式增长。本页面梳理开源模型、框架、数据和社区的现状，以及开源与闭源之间的核心辩论。
\n开源大模型的质量在两年内迅速逼近闭源模型：
\n开源模型的意义不仅是"免费使用"，更在于社区可以审查、修改和优化模型。
\nHugging Face 已成为开源 AI 的"GitHub"：
\n框架的开源使得"用得起"和"用得好"大模型成为可能。
\n高质量数据是训练好模型的前提，开放数据集的贡献不可忽视：
\n开放数据的争议在于版权和隐私问题，目前尚无统一的法律框架。
\n这场辩论的核心并非"开源好还是闭源好"，而是在不同场景下的权衡：
\n| 维度 | 开源优势 | 闭源优势 |
\n|
\n\n本页面为持续更新的综合分析文档，记录 2026 年 AI 领域的关键趋势和判断。
\n
2026 年的大模型市场呈现多极竞争格局：
\n模型能力正在趋同，差异化竞争转向安全性、工具集成、垂直场景和开发者体验。
\n2025-2026 年标志着 AI 从"对话"到"行动"的范式转移。AI Agent 不再仅仅是回答问题的聊天机器人，而是能够自主规划、调用工具、执行复杂任务的智能体。
\n关键标志：
\nAgent 的可靠性仍是主要挑战——幻觉、错误决策和安全性问题需要持续解决。
\nAI 对软件开发的影响在 2026 年已不可逆转：
\n开发者角色正在从"代码编写者"转变为"架构设计者 + AI 输出审核者"。这一转变提升了个体开发者的产出上限，但也要求更高的系统设计能力和批判性思维。
\nAndrej Karpathy 推广的 LLM Wiki 理念正在获得关注。与传统 RAG 不同，LLM Wiki 让 Agent 主动编译知识，形成可持续积累的知识库。
\n核心洞察：知识应该是"编译后的"而非"每次从源码重新编译的"。这一理念不仅适用于个人知识管理，也为团队知识协作和企业知识资产沉淀提供了新思路。
\n2026 年的多模态 AI 已超越简单的"图片理解"：
\n多模态融合使 AI 能够处理更复杂的任务，也模糊了不同媒体形式的边界。
\n安全与对齐（Alignment）在 2026 年受到前所未有的关注：
\nAI 能力的快速提升使安全研究面临"追赶"压力——确保模型安全性的速度需要匹配模型能力增长的速度。
\n这些问题的答案将在未来 1-3 年内逐渐明朗。
\n