自然语言处理（Natural Language Processing, NLP）是人工智能与语言学的交叉领域，旨在让计算机理解、生成和处理人类语言。NLP 技术贯穿搜索引擎、智能助手、机器翻译和文本分析等核心应用。
NLP 任务按复杂度可分为多个层次：
注意力机制（Attention Mechanism）是深度学习中用于建模序列元素间依赖关系的核心计算范式。它使模型能够动态地"关注"输入中最相关的部分，而非依赖固定长度的上下文窗口。注意力是 concepts/transformer-architecture 的计算核心。
Bahdanau Attention（2014） 首次在机器翻译中引入可学习的对齐机制，让解码器在生成每个词时自适应地关注源序列的不同位置，解决了 RNN 固定长度上下文向量的信息瓶颈问题。
提示工程是与大语言模型交互的核心技能，指通过精心设计输入文本（prompt）来引导模型产生期望输出的技术与方法。在模型能力既定的情况下，prompt 的设计质量直接决定了输出效果的优劣。理解 concepts/llm-training-pipeline 中的训练机制，有助于更有效地设计 prompt。
LLM 本质上是文本补全引擎——它根据输入上下文预测最可能的后续 token。提示工程的核心在于：如何构造这个上下文，使模型的预测方向与用户意图高度对齐。优秀的 prompt 不仅是"提问题"，更是为模型设定清晰的任务框架、输出格式和约束条件。
语义搜索（Semantic Search）是一种基于语义理解而非关键词匹配的信息检索方式。它通过 concepts/embedding 技术将查询和文档映射到同一向量空间，利用向量相似度来衡量语义相关性，从而检索到"意思相近"而不仅仅是"字面匹配"的结果。
关键词搜索（如 BM25、TF-IDF）基于词频统计和精确匹配，擅长处理包含特定专有名词、产品型号等精确查询。其优势是速度快、可解释性强，但无法理解同义词（"汽车" vs "轿车"）、上下位关系（"水果" vs "苹果"）和语义隐含。
分词（Tokenization）是将原始文本拆分为模型可处理的基本单元（token）的过程。它是 concepts/llm-training-pipeline 的第一步，直接影响模型的词汇量、处理效率和生成质量。分词粒度的选择是效率与表达能力之间的关键权衡。
BPE 是当前 LLM 最广泛使用的分词算法。其核心思路是迭代合并频率最高的字符对：从字符级别出发，统计相邻字符对的频率，将最高频的对合并为新符号，重复直至达到目标词汇量。BPE 自动学习子词单元，在常见词保持完整（如"learning"）的同时，将罕见词拆分为有意义的子词片段（如"un" + "familiar"），有效平衡了词汇量与覆盖度。
