Anki · P

漫谈DeepSeek及其核心技术：低成本高效大模型的破局之路

一、公司与模型概况：初创公司的惊人突破
DeepSeek于2023年7月成立，作为幻方量化旗下子公司，一年内推出DeepSeek V2.5、V3、R1等多个模型，均采用MoE架构。其V3模型参数量达671B，激活参数仅37B，在开源模型中性能登顶，与GPT-4o等闭源模型比肩，而训练成本不到600万美元，推理成本低至百万Token输入1元，API定价仅为国内头部厂商的几十分之一。

二、核心技术：架构与训练的双重革新
1. 网络架构创新
- DeepSeekMoE：引入无辅助损失的负载均衡策略，通过动态调整专家偏差项解决负载不均问题，减少知识冗余，提升训练效率。
- MLA多头潜在注意力：通过低秩联合压缩KV缓存，相比传统MHA减少KV存储量，推理性能更优。
2. 训练与推理优化
- HAI-LLM框架：支持ZeRO数据并行、流水线并行等四种并行训练方式，搭配高性能算子haiscale，优化显存与计算效率。
- DualPipe算法：通过通信计算重叠优化，消除流水线并行气泡，跨节点all-all通信开销近乎为零。
- FP8混合精度训练：核心计算采用FP8量化，关键模块保留BF16/FP32精度，平衡效率与稳定性，首次在大规模模型中验证有效性。
- MTP训练目标：多Token预测提升模型在代码、数学等任务上的性能，同时加速推理。

三、技术优势与行业意义
DeepSeek通过MoE架构、MLA机制及混合精度训练，将训推成本大幅降低，打破"大模型必高成本"的行业认知。其技术突破证明大模型领域并非"魔法"，而是基本功与架构创新的结合。作者认为，DeepSeek的出现不仅展现了中国团队在基础模型领域的竞争力，更将推动AI行业向低成本、高效率迭代发展，缩小与海外的技术代际差距。未来，Transformer架构适配芯片、MoE与多Token预测等方向或成研究热点。

AI革命的真正战场：超越聊天框的原生软件重构

一、当前AI应用的致命缺陷：旧瓶装新酒
Gmail整合Gemini模型的邮件生成功能堪称反面教材：用户需输入与草稿等长的提示词，却得到语气生硬、缺乏个性的模板化内容。这种“AI无马车”式设计，如同给传统软件套上AI外壳，本质仍是用旧思维约束新技术。Pete Koomen指出，问题根源在于系统提示词被开发者固化为“通用商务语气”，用户无法根据个人风格定制，导致AI输出与真实需求脱节。

二、AI原生软件的核心逻辑：让用户定义思考方式
理想的AI体验应赋予用户“教机器思考”的能力。以自定义系统提示词为例，当用户将提示词改为“你是43岁的YC合伙人Pete，邮件需简明扼要”，AI生成的内容立刻贴合真实沟通习惯。这种模式打破了开发者与用户的传统分工——用户不再仅是功能使用者，而是通过自然语言编程，将个人工作流程编码为AI指令，实现“用思维控制工具”的范式升级。

三、编程工具的先行示范：从代码生成到流程自动化
Cursor等编程工具的成功揭示了AI原生设计的关键：允许用户通过自然语言直接操作底层功能。开发者能用英语描述需求并生成代码，本质是因为工具开放了“自然语言→执行指令”的直连通道。这种模式正延伸至其他领域：如邮件Agent可根据用户设定的规则（“妻子邮件标私人，创业者邮件优先处理”）自动执行分类、回复等操作，将重复事务转化为AI可理解的逻辑流程。

四、未来趋势：从文本生成到现实任务自动化
AI的真正革命在于摆脱“聊天框交互”的局限，成为能调用多工具的自动化助手。例如，一个整合日历、Slack、法务文档的Agent，可自动处理“审核条款→通知团队→归档文件”的全流程。Pete强调，创业者应抛弃“给现有产品加AI插件”的思路，转而思考“如何让AI承担所有重复性工作，释放用户创造力”。当AI能理解并执行个性化工作流时，才是其价值的真正兑现。

核心观点：当前AI应用的瓶颈在于对传统软件模式的路径依赖，真正的突破需构建以“用户自定义思考逻辑”为核心的原生系统。这要求开发者从“功能设计者”转变为“AI交互架构师”，让技术成为延伸人类思维的工具，而非替代人类表达的聊天机器人。

深度探索AI大模型原理，它到底是如何工作的

一、文本生成的本质：迭代预测与对话模拟
AI大模型的核心能力源于“文本生成”——基于历史输入数据预测下一个最可能出现的token（字/词）。以GPT2为例，输入“[CLS]今天天气真”，模型会依次生成“的”“很”“好”等字，通过迭代累加形成完整文本。
ChatGPT的对话功能本质是特殊文本生成：利用分隔符标记对话轮次，如“[CLS]今天天气真好是的，你最近怎么样”，通过分割前后内容模拟双人对话。模型不理解对话意义，仅通过数据模式生成符合对话结构的文本。

二、Llama3模型的推理核心：Transformer架构与概率计算
Llama3基于Transformer解码器架构，推理流程可拆解为：
输入处理：通过Embedding层将文本转为向量，结合位置编码（如Rotary Positional Encoding）标记序列顺序。
特征提取：经多层自注意力机制（如Grouped Multi-Query Attention）和前馈神经网络（SwiGLU激活函数）处理，生成固定维度特征向量。
概率预测：通过Linear层将特征向量维度映射为词表大小（如1000维），再经Softmax层计算每个字的出现概率。
结果选择：贪心策略选概率最高的字（输出固定），或基于概率分布随机采样（输出多样），后者实现ChatGPT的回复多样性。

三、GPT2本地实验：从模型部署到对话生成
在本地部署GPT2模型（如中文CLUE Corpus Small版本）需下载config.json、pytorch_model.bin、vocab.txt文件，通过Hugging Face的Transformers库实现：
普通文本生成：输入“[CLS]今天天气真”，模型按概率生成“的很好，我们一行人去吃的…”。 对话生成：加载对话微调模型后，输出包含分隔符，如“好是的，你最近怎么样挺好的”，通过分割实现对话展示。

核心观点：AI大模型的“智能”源于海量数据训练下的序列预测，而非真正理解语义。其工作本质是通过Transformer架构将文本转为向量计算概率，再通过特殊标记模拟对话结构。掌握这一原理，即可理解大模型的生成逻辑与技术边界。

人工智能神经网络基本原理

一、生物启发与早期模型：从神经元到 MP 模型
生物学神经元通过树突接收信号、轴突传递信号，突触间隙实现神经元间通信。受此启发，MP 神经元模型构建了多输入单输出的线性分类框架，通过权重（w）模拟刺激敏感度、阈值（θ）控制激活难度，采用符号函数实现二分类。但其局限在于权重需人工设定，无法自主学习特征，仅能处理线性可分问题，如天气与带伞的简单分类场景。

二、单层神经网络：感知器的线性分类突破
1958 年提出的感知器首次实现权重自动调整，通过有监督学习和误差修正算法优化参数。其数学模型基于矩阵运算，输入层传输数据，输出层执行线性分类（类似逻辑回归），成功解决 AND 门等线性分类任务。但 Minsky 指出其无法处理 XOR 等非线性问题，核心瓶颈在于单层计算的线性本质。

三、两层神经网络：非线性世界的钥匙
通过引入隐藏层和非线性激活函数（如 sigmoid），两层神经网络突破线性限制。隐藏层通过矩阵变换实现输入空间的非线性映射，使数据从线性不可分转为可分，配合 BP 反向传播算法解决梯度计算难题。万能逼近定理证明，足够神经元的两层网络可逼近任意连续函数。ReLU 激活函数的应用进一步缓解梯度消失，成为多层网络的标配选择，如 EasyPR 字符识别模型通过 120-40-65 结构实现高效分类。

四、多层神经网络与深度学习：从特征提取到复杂函数拟合
2006 年 Hinton 提出的深度学习通过预训练和微调技术，解决多层网络训练难题。深层网络通过逐层抽象特征（如边缘→形状→图案→目标），结合更多参数增强函数模拟能力，在人脸识别等复杂任务中表现优异。训练过程依赖梯度下降与 BP 算法优化损失函数，同时通过 Dropout、数据增强等正则化技术缓解过拟合。参数设计上，同等参数量下更深的网络结构往往优于浅层网络，体现层次化特征提取的优势。

核心观点：神经网络的进化史是从线性到非线性、从人工调参到自动学习、从浅层到深层的递进过程。每一次突破（如 MP 模型的数学建模、BP 算法的计算优化、深度学习的层次特征提取）均源于对生物机制的模拟与数学工具的创新，其本质是通过多层非线性变换逼近复杂函数，实现从数据到知识的映射。