2025-09-01 22:01 浙江
Datawhale分享
最新：DeepSeek V3/R1训练细节
Datawhale分享
最新：DeepSeek V3/R1训练细节
✅ **AI内容标识合规与用户规范**：为响应国家新规，DeepSeek承诺所有AI生成内容将清晰标注“AI生成”，并严肃提醒用户不得恶意删除、篡改或隐匿此标识。此举旨在确保AI生成内容的透明度和可追溯性，并维护信息传播的真实性。
💡 **模型训练的两大阶段**：DeepSeek的模型训练分为“预训练”和“优化训练”两个核心环节。预训练阶段通过大规模自监督学习，使模型掌握通用语言理解与生成能力，主要使用公开数据和合作许可数据，并辅以严格的数据治理流程，过滤仇恨、色情、暴力等不良信息，同时通过算法和人工审核降低数据偏见。优化训练阶段（微调）则利用SFT、RL等方法，结合问答对数据，使模型能更好地适应实际应用场景，如精准回答问题或执行特定任务，同时通过安全数据对齐增强模型内生的安全能力。
🛡️ **数据隐私与安全保障**：DeepSeek在模型训练过程中，尤其是在优化训练阶段，高度重视用户数据隐私和安全。对于可能涉及用户输入的训练数据，会进行安全加密、严格的去标识化和匿名化处理，以避免训练数据关联到任何特定个人。用户还拥有知情权、选择权和控制权，可以拒绝数据用于模型训练或要求删除历史数据。
⚖️ **应对LLM局限性与滥用风险**：DeepSeek承认当前AI发展阶段的局限性，如“幻觉”现象，并采取技术手段（高质量数据、优化对齐策略、RAG等）降低其发生率，同时在产品界面显著提示用户AI生成内容可能不准确，仅供参考，不作为专业建议。对于AI滥用风险，DeepSeek已制定内部风险管理制度、进行模型安全性评估、红队测试，并增强模型和服务透明度，以应对隐私保护、版权、数据安全和内容安全等挑战。
2025-09-01 22:01 浙江
Datawhale分享
最新：DeepSeek V3/R1训练细节
来源：新智元
其中，第四条要求：对符合要求的AI生成合成内容添加显式标识。
刚刚，DeepSeek 官微发布了最新回应公告——凡是 AI 生成的内容，都会清楚标注「AI 生成」。
它还郑重提醒，用户严禁恶意删除、篡改、隐匿标识，更别提用 AI 传播、制作虚假信息。
此外，这次还发布了《模型原理与训练方法说明》，可以一瞥 DeepSeek 的技术路径。
接下来，深入探索一下 DeepSeek V3/R1 的一些训练细节。
文档链接：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html
DeepSeek 主要介绍了大模型的训练和推理阶段，包括预训练、优化训练（微调）以及训练数据等。
不同大模型的神经网络架构
模型训练阶段即模型的开发阶段：通过设计好的深度神经网络架构和训练方法，开发人员开发出可被部署使用的模型。
模型由多层神经网络组成，不同的架构直接影响模型的性能。此外，模型性能也受参数规模的制约，而训练的目的就是找到具体的参数值。
目前，大模型的参数规模数以亿计。最新的 DeepSeek-V3-0324，参数总量为 6850 亿。
在训练过程中，这些参数通过梯度下降算法迭代优化。
这次，DeepSeek 把模型训练分为预训练和优化训练两个环节。
预训练：预训练目标是通过数据训练模型，使模型掌握通用的语言理解与生成能力。
优化训练：也称为微调，是在预训练模型的基础上通过特定任务的数据进一步调整模型参数，使模型适应实际应用场景。
在预训练阶段，模型通过大规模自监督学习，从文本数据中学习语言模式与知识关联。预训练完成后，模型能理解并生成连贯的文本，但还不会精准地回答问题或执行任务，因此需要进一步的训练微调。
在优化训练阶段，模型一般通过 SFT、RL 等方法，学会根据指令回答问题，符合人类的偏好和需求，并激发在特定领域的专业能力。
经过优化训练的模型能更好地满足实际需求，可被部署使用。
DeepSeek 模型的能力，是建立在高质量、大规模、多样化的数据之上。
在「预训练阶段」和「优化训练阶段」，各有不同。
在预训练阶段，主要使用了两类数据：
互联网公开可用的信息，比如网页、公开文档等。与第三方合作获取许可的数据
需要强调的是，在此阶段，根本无需获取个人信息用于训练，DeepSeek 不会有意关联至任何特定账户和个人，更不会主动将其用于训练模型。
不过，预训练数据规模过于庞大，可能偶然包含了一些个人信息。
对此，DeepSeek 会通过技术手段，尽力筛查并移除这些信息，确保数据「干干净净」。
为了保证数据质量、安全、多样，他们还打造了一套硬核数据治理流程——
首先，通过「过滤器」自动剔除仇恨言论、色情低俗、暴力、垃圾信息，以及可能侵权的原始数据。
其次，通过算法+人工审核，识别并降低数据中的统计性偏见，让模型更公平、更客观。
到了优化训练阶段，一般需要通过人工或自动化的方式构造、标注一批问答对数据来对模型进行训练。
DeepSeek 这次表示：这些问答对数据是由研究团队生成提供的，其中少部分数据的构造可能会基于用户的输入。
在 DeepSeek-R1 训练中，研究人员直接提示模型生成包含反思和验证的详细答案；收集并整理 DeepSeek-R1-Zero 的输出，使其具有可读性；以及通过人工注释者的后期处理来提高数据质量
如涉及利用用户的输入构造训练数据，DeepSeek 会对数据进行安全加密技术处理、严格的去标识化和匿名化处理，从而尽可能避免训练数据关联到任何特定个人，且不会在模型给其他用户的输出中带有个人信息，更不会将其用于用户画像或个性化推荐。
同时，DeepSeek 为用户提供了选择退出的权利。
为了确保模型的安全性，在模型优化训练阶段，DeepSeek 构造了专门的安全数据对模型进行安全对齐，教会模型的回复符合人类的价值观，增强模型内生的安全能力。
模型的推理阶段即模型被部署提供服务。
模型训练完成并被部署后，可以通过对输入信息进行编码和计算来预测下一个 token，从而具备文本生成和对话等能力。
部署后的模型能够熟练执行基于文本生成的广泛多样的任务，并可以集成到各种下游系统或应用中。
具体到 DeepSeek 的产品服务，基于用户的输入，模型采用自回归生成方式，基于输入的上下文内容，通过概率计算预测最可能的接续词汇序列。
推理完成后，模型输出相应的内容作为响应，包括文字、表格和代码等。
此并非简单检索或「复制粘贴」训练数据中的原始文本，模型也并未存储用于训练的原始文本数据副本，而是基于对语言结构和语义关系的深度理解，动态生成符合语境的回答。
DeepSeek 这次还强调模型开源。
我们通过开源平台对外公开发布了所有模型的权重、参数以及推理工具代码等，并采用宽松的 MIT 协议，供使用者自由、免费下载部署使用。
同时，DeepSeek 发布各模型的完整技术报告，供社区和研究人员参考，并帮助公众更深入地了解每个模型的技术原理和细节。
毋庸置疑，当前 AI 发展还在早期阶段，存在无法避免的局限性。
若是再被加以滥用，将会带来严重的后果。
1. 局限性
AI 往往会生成错误、遗漏，或不符合事实的内容，这种现象统一称之为「幻觉」。
这个问题，是整个 AI 行业面临的挑战。
对此，DeepSeek 正通过一些技术手段降低幻觉率，包括高质量的训练数据、优化对齐策略、RAG等，但现阶段依无法完全消灭。
同时，他们还在欢迎页、生成文本的末尾，以及交互界面底部，添加显著的提示标识。
特别提醒用户——内容由人工智能生成，可能不准确。
因此，AI 生成的内容仅供参考，所有人不应将输出的内容作为专业建议。
尤其是，在医疗、法律、金融等专业领域，DeepSeek 不提供任何建议或承诺，专业的事儿还得找专业的人。
滥用风险
AI 技术本身是中立的，但滥用可能带来隐私保护、版权、数据安全、内容安全、偏见歧视等风险。
DeepSeek 对此也是高度重视，采取了一系列硬核措施，贯穿了模型研发、训练、部署的全生命周期。
制定内部风险管理制度
开展模型安全性评估
进行红队测试
增强模型和服务透明度等
更重要的是，DeepSeek 还赋予了用户知情权、选择权、控制权——
你可以查询服务的基本信息、拒绝其数据用于模型训练、删除其历史数据等。
参考资料：
AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。
鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑