科学空间|Scientific Spaces

《量子力学与路径积分》封面

今天收到高教出版社的王超编辑寄来的费曼著作新版《量子力学与路径积分》了，兴奋ing...

《量子力学与路径积分》是费曼的一本经典著作，更是量子力学的经典著作——它是我目前读过的唯一一本从路径积分出发、并且以路径积分为第一性原理的量子力学著作(徐一鸿的《简明量子场论》好象是我读过的唯一一本纯粹以路径积分为方法的量子场论著作，也非常不错)，其它类型的量子力学著作，也有部分谈到路径积分，但无一不是从哈密顿形式中引出路径积分的，在那种情况之下，路径积分只能算是一个推论。但是路径积分明明就作为量子力学的三种形式之一，它应该是可以作为量子力学的基本原理来提出的，而不应该作为另一种形式的推论。费曼做了尝试——从路径积分出发讲解量子力学，而且显然这种尝试是很成功的，至少对于我来说，路径积分是一种非常容易理解的量子力学形式。（这也许跟我的数学基础有关）

点击阅读全文...

前几天，笔者看了几篇介绍SSM（State Space Model）的文章，才发现原来自己从未认真了解过SSM，于是打算认真去学习一下SSM的相关内容，顺便开了这个新坑，记录一下学习所得。

SSM的概念由来已久，但这里我们特指深度学习中的SSM，一般认为其开篇之作是2021年的S4，不算太老，而SSM最新最火的变体大概是去年的Mamba。当然，当我们谈到SSM时，也可能泛指一切线性RNN模型，这样RWKV、RetNet还有此前我们在《Google新作试图“复活”RNN：RNN能否再次辉煌？》介绍过的LRU都可以归入此类。不少SSM变体致力于成为Transformer的竞争者，尽管笔者并不认为有完全替代的可能性，但SSM本身优雅的数学性质也值得学习一番。

尽管我们说SSM起源于S4，但在S4之前，SSM有一篇非常强大的奠基之作《HiPPO: Recurrent Memory with Optimal Polynomial Projections》（简称HiPPO），所以本文从HiPPO开始说起。

点击阅读全文...

在前三篇文章中，我们较为详细地讨论了HiPPO和S4的大部分数学细节。那么，对于接下来的第四篇文章，大家预期我们会讨论什么工作呢？S5、Mamba乃至Mamba2？都不是。本系列文章主要关心SSM的数学基础，旨在了解SSM的同时也补充自己的数学能力。而在上一篇文章我们简单提过S5和Mamba，S5是S4的简化版，相比S4基本上没有引入新的数学技巧，而Mamba系列虽然表现优异，但它已经将$A$简化为对角矩阵，所用到的数学技巧就更少了，它更多的是体现了工程方面的能力。

这篇文章我们来学习一篇暂时还声名不显的新工作《State-Free Inference of State-Space Models: The Transfer Function Approach》（简称RFT），它提出了一个新方案，将SSM的训练、推理乃至参数化，都彻底转到了生成函数空间中，为SSM的理解和应用开辟了新的视角

基础回顾

首先我们简单回顾一下上一篇文章关于S4的探讨结果。S4基于如下线性RNN
\begin{equation}\begin{aligned}
x_{k+1} =&\, \bar{A} x_k + \bar{B} u_k \\
y_{k+1} =&\, \bar{C}^* x_{k+1} \\
\end{aligned}\label{eq:linear}\end{equation}

点击阅读全文...

这篇文章我们继续来闭门造车，分享一下笔者最近对多模态学习的一些新理解。

在前文《“闭门造车”之多模态思路浅谈（一）：无损输入》中，我们强调了无损输入对于理想的多模型模态的重要性。如果这个观点成立，那么当前基于VQ-VAE、VQ-GAN等将图像离散化的主流思路就存在能力瓶颈，因为只需要简单计算一下信息熵就可以表明离散化必然会有严重的信息损失，所以更有前景或者说更长远的方案应该是输入连续型特征，比如直接将图像的原始像素特征Patchify后输入到模型中。

然而，连续型输入对于图像理解自然简单，但对图像生成来说则引入了额外的困难，因为非离散化无法直接套用文本的自回归框架，多少都要加入一些新内容如扩散，这就引出了本文的主题——如何进行多模态的自回归学习与生成。当然，非离散化只是表面的困难，更艰巨的部份还在后头...

无损含义

首先我们再来明确一下无损的含义。无损并不是指整个计算过程中一丁点损失都不能有，这不现实，也不符合我们所理解的深度学习的要义——在2015年的文章《闲聊：神经网络与深度学习》我们就提到过，深度学习成功的关键是信息损失。所以，这里无损的含义很简单，单纯是希望作为模型的输入来说尽可能无损。

点击阅读全文...

这篇文章源于《新科学家》2010年8月7日刊，它介绍了物理学家Horava为了统一相对论和量子力学，把广义相对论的时空联系割裂的尝试。在相对论中，时间和空间结合成了不可分割的整体。而现在，有物理学家却要把时间与空间分开，来建立让广义相对论和量子力学相调和的统一理论。我对这个理论挺感兴趣的，当然，我还没有能力弄懂它。只是它符合了我们大多数人的一个直觉，就是时间总有跟空间不同的地方，它们之间不应该完全等同起来。不过，事实如何，只有未来的实验能够严重了。

本文并没有官方的中文译文，现载的译文来自“译言网”。译文有一些翻译不大正当的地方，由于时间限制，无法一一修正，但是我觉得对于理解本文内容已经足够了。如果有疑问，不妨参考后边的英文原文，并在此提出与大家讨论。

对爱因斯坦的反思：空间-时间耦合的物理数学的终结

纠结于融合引力和量子力学的物理学家们正向着一个受到铅笔芯启发的理论欢呼雀跃，这个理论可以很简单地让他们取得成功。

它曾是一个改变了我们思考空间和时间的方式的报告。那一年是1908年，德国数学家赫尔曼-闵可夫斯基正尝试着理解爱因斯坦火热的新思想——即我们现在所熟知的狭义相对论，它描述当物质运动很快时它们是如何收缩以及时间是如何扭曲的。“从此独立的空间和时间将注定淡出到纯粹的虚幻中，”闵可夫斯基说道：“而只有两者的统一才能保证一个独立的现实世界。”

点击阅读全文...

昨天在上“科学计算软件”课时，讲到了一个“抢15”游戏（Pick15），就是在1~9这9个数字中，双方轮流选一个数字，不可重复，谁的数字中有三个数字的和为15的，谁就是赢家。

这是个简单的游戏，属于博弈论范畴。在博弈论中有一个著名的“策梅洛定理”（Zermelo's theorem），它指出在二人的有限游戏中，如果双方皆拥有完全的资讯，并且运气因素并不牵涉在游戏中，那先行或后行者当一必有一方有必胜/必不败的策略。比如中国象棋就属于这一类游戏，它告诉我们对于其中一方必有一种必不败策略（有可能和棋，有可能胜，反正不会输）。当然，策梅洛定理只是告诉我们其存在性，并没有告诉我们怎么发现这个策略，甚至连哪一方有这种最优策略都没有给出判别方法。这是幸运的，因为如果真有一天发现了这种策略，那么像象棋这类博弈就失去了意义了。

上述的抢15游戏当然也属于这类游戏。不同于象棋的千变万化，它的变化比较简单，而且很容易看出它对先手有着明显的优势。下面我们来分析一下。

点击阅读全文...

对于任意的素数$p$，集合$\mathbb{Z}_p=\{0,1,2,\dots,p-1\}$在模$p$的加法和乘法之下，构成一个域，这是学过抽象代数或者初等数论的读者都会知道的一个事实。其中，根据域的定义，$\mathbb{Z}_p$首先要在模$p$的加法下成为一个交换群，而且由于$\mathbb{Z}_p$的特殊性，它还是一个循环群，这也是比较平凡的事实。但是，考虑乘法呢？

首先，$0$是没有逆元的，我们考虑乘法，是在$\mathbb{Z}^\cdot _p=\mathbb{Z}_p \verb|\| \{0\}=\{1,2,\dots,p-1\}$上考虑的。如果我说，$\mathbb{Z}^\cdot _p$在模$p$之下的乘法也作成一个循环群，这结论就不是很平凡的了！然而这确实是事实，对于所有的素数$p$均成立。而有了这事实，数论中的一些结论就会相当显然了，比如当$d\mid (p-1)$时，$\mathbb{Z}_p$中的$d$次剩余就只有$\frac{p-1}{d}$个了，这是循环群的基本结论。

在《数学天书中的证明》一书中，有该结论的一个证明，但这个证明是存在性的，而我在另外一本书上也看到过类似的存在性证明，也就是说，似乎流行的证明都是存在性的，它告诉我们$\mathbb{Z}^\cdot _p$是一个循环群，但是没告诉我们怎么找到它的生成元。而事实上，高斯在他的《算术探索》中就给出了一个构造性的证明。（在数论中，本文的结论是“原根”那一章的基本知识。）下面笔者正是要重复高斯的证明，供读者参考。

点击阅读全文...

前段时间在研究费曼的路径积分理论，看到路径积分的微扰方法，也就是通过小参数展开的方式逐步逼近传播子。这样的技巧具有非常清晰的物理意义，有兴趣了解路径积分以及量子力学的读者，请去阅读费曼的《量子力学与路径积分》。然而从数学角度看来，这种逼近的技巧实际上非常粗糙，收敛范围和速度难以得到保证。事实上，数学上发展了各种各样的摄动技巧，来应对不同情况的微扰。下面我们研究积分
$$\int_{-\infty}^{+\infty} e^{-ax^2-\varepsilon x^4} dx\tag{1}$$
或者更一般地
$$\int_{-\infty}^{+\infty} e^{-ax^2-\varepsilon V(x)} dx\tag{2}$$
路径积分的级数展开比它稍微复杂一些，但是仍然是类似的形式。

点击阅读全文...