Transformer 是 2017 年由 Google 团队提出的深度学习架构，其核心创新是摒弃了传统的循环和卷积结构，完全基于 concepts/attention-mechanism 实现序列建模。这一架构从根本上改变了 NLP 和 CV 的技术格局，是当前所有主流 LLM 的基础。

核心组件

Self-Attention（自注意力） 是 Transformer 的计算核心。每个位置的 token 通过三组线性变换生成 Query、Key、Value 向量，通过计算注意力权重来捕获序列内任意两个位置之间的依赖关系。Multi-Head Attention 将注意力空间拆分为多个子空间，使模型能同时关注不同类型的语义关系。

从简单的聊天机器人到复杂的多智能体系统，LLM 应用的架构模式已形成相对成熟的分类。本页面梳理常见的架构模式及其适用场景。

单轮对话

最基本的模式：用户发送一条消息，LLM 返回一次回复。

• 适用场景：翻译、摘要、文本改写等无状态任务
• 架构要点：无需维护会话状态，每次请求独立处理
• 成本控制：输入 token 即输出 token，最简单直接的成本模型

多轮对话

软件工程（Software Engineering）是将系统化、规范化的方法应用于软件的开发、运行和维护的学科。它不仅关注代码编写，更关注如何在团队协作中持续交付高质量软件。

核心设计原则

• SOLID 原则：单一职责、开闭原则、里氏替换、接口隔离、依赖倒置，是面向对象设计的基石
• DRY（Don't Repeat Yourself）：避免知识重复，通过抽象和复用减少维护成本
• KISS（Keep It Simple, Stupid）：优先选择简单方案，避免过度设计