原创 让你更懂AI的 2025-10-09 23:49 北京
从信息压缩到可解释智能
在神经网络无处不在的今天，我们似乎已经习惯了“深度学习就是堆结构、调参数”的经验主义时代。但在这一切的背后，一个根本问题始终没有被系统回答——深度网络究竟在学什么？为什么它们能从数据中生长出强大的表征能力？马毅教授（UC Berkeley & 香港大学）团队联合芝加哥 TTIC 与密歇根大学的多位青年学者，正式发布了新书《Learning Deep Representations of Data Distributions》。这是一本从根基处重新定义“表示学习（Representation Learning）”的教材：它不以经验总结为主，而是试图从数学原理出发，给出深度表征学习的统一理论。作者在书中提出一个核心主张——现代神经网络的本质，是一连串“渐进式压缩算子（progressive compression operators）”。每一层都在让输入特征更易编码、更稀疏、更线性化，最终形成可解释、可压缩的低维分布结构。卷积、注意力、自编码器，这些看似不同的模块，其实都可以被归入同一个压缩框架下。这一观点让人重新理解了“网络架构设计”的意义：我们不再需要盲目地 ablate（消融）寻找最优结构，而是可以从原理中直接推导出性能优异、可解释的“白盒”网络。在书籍主页与 GitHub 上，读者不仅可以免费阅读全书内容，还能直接访问与教材配套的 AI 助教模型——它基于整本书的内容进行持续预训练，可在网页上即时对话、答疑。这种“AI × 教材”的结合，也体现了马毅教授的理念：让智能系统既成为研究对象，也成为学习工具。全书概要：从分布学习到可解释深度架构这本书聚焦的核心问题非常清晰：如何在高维空间中学习低维分布结构，并将其转化为可用、可解释的表征。作者团队认为，深度学习的强大并非源自网络的“复杂形态”，而是来自其隐含的信息压缩与表示机制。每一层网络都在进行“编码率最小化”与“结构化重构”，从而把复杂数据投射到低维可线性分离的流形上。这种思想贯穿全书八章内容——从早期的统计信号模型与降维假设出发，逐步过渡到 MCR²（Maximal Coding Rate Reduction）理论、白盒网络 CRATE 架构、闭环自一致学习（i-CTRL），并延伸至对比学习、MAE、扩散模型与高效 Transformer（ToST）的统一解释。从智能、控制论到现代 AI 的思想演变，提出“智能 = 学习可预测规律”的核心命题。Chapter 2–3：Compression & Representation
系统讲解低维流形、稀疏表示与 MCR² 理论，奠定“压缩即表征”的数学基础。Chapter 4：CRATE：从优化到白盒网络
通过展开优化（unrolled optimization）推导出可解释的深度架构。Chapter 5：闭环转录（Closed-loop Transcription）
用 Stackelberg 博弈刻画持续学习与记忆保持。Chapter 6：条件生成与推断
统一解释 MAE 与扩散模型的关系。Chapter 7：对比学习与高效 Transformer（ToST）
将线性时间复杂度注意力机制纳入同一原理框架。Chapter 8：走向科学智能
讨论未来 AI 的闭环演化与原理化前景。从原理到架构：五个关键思想MCR²：表征的可压缩性准则在传统信息论中，我们追求编码最短、误差最小；而在 MCR² 框架下，表征的目标是“在压缩的同时保持类间可分性”。MCR² 的思想可以概括为：
其中 是整体编码率， 是各子类的内部编码率。差值越大，说明模型学到的表征越“结构化”——既紧凑又判别。这一准则被作者视作“神经网络的最优编码原理”。在实践中，它不仅可解释深度分类网络的层间行为，还能指导无监督聚类与表示学习。
▲ CRATE主循环结构：通过优化展开实现层级可解释性
这使得 CRATE 不再需要庞大的实验调参，而是可从数学原理直接推导出架构设计。i-CTRL：让模型具备“记忆闭环”的能力在持续学习中，模型往往会遗忘旧知识。书中提出的 i-CTRL（Incremental Closed-loop Transcription Learning）给出了一个系统解法：把编码器与解码器建模为一个 min–max 博弈系统。编码器追求信息增益，解码器追求重构一致性，二者在闭环中逐渐达成平衡。在工程部分，书中提出了 ToST（Token Statistics Transformer）架构：通过替换 MHSA 为 Token Statistics Self-Attention (TSSA)，将注意力复杂度从 降为 。
更重要的是，这种结构依然符合 MCR² 的编码–解码原理，也就是：高效 ≠ 黑箱，解释性与性能可以并存。