科学空间|Scientific Spaces

由于重装系统时的粗心大意，笔者把《求解微分方程的李对称方法》的Word文档弄丢了，更不幸的是存有该文档的U盘也弄丢了~没办法，只好重新把这篇文章录入了。幸好之前曾把它打印成纸质版，还有旧稿可以参考。现发布《求解微分方程的李对称方法（二）》，希望能够为对李对称方法有兴趣的朋友提供些许资源。

相比（一），（二）将所有内容重新用CTex录入了，果然，$\LaTeX$才是写数学论文软件中的佼佼者，虽然是纯代码编辑，但是这正符合我追求简洁清晰的风格。在内容上，（二）增加了一阶常微分方程组的内容，并对（一）的部分细节做了修改，本文完成后就初步相对完整地叙述了一阶常微分方程组的李对称积分的思路，内容增加到了13页。而在接下来的（三）中，将会提供李代数的内容；如果有（四）的话，就会谈到李对称方法的计算机实现。希望大家会喜欢这系列文章。更期待大家的读后感（包括挑错）^_^

点击阅读全文...

从这个系列的第一篇文章到本文，已经隔了好多天。其实本文的内容是跟第一篇的内容同时完成的，为什么这么久才更新呢？原因有二，其一是随着春天的到来人也开始懒起来了，颓废呀～；其二，我在思考着规范变换的问题。按照朗道《场论》的逻辑，发展完质点力学理论后，下一步就是发展场论，诸如电磁场、引力场等。但是场论中有个让我比较困惑的东西，即场论存在着“规范不变性”。按照一般观点，我们是将规范不变性看作是电磁场方程的一个结果，即推导出电磁场的方程后，“发现”它具有规范不变性。但是如果用本文的方法，即假定场有这种对称性，然后就可以构建出场方程了。可是，为什么场存在着规范不变性，我还未能思考清楚。据我阅读到的资料来看，这个不变性似乎跟广义不变性有关（电磁场也是，这似乎说明即使在平直时空的电磁场理论中也暗示了广义不变性？）。还有，似乎这个不变性需要在量子场论中才能得到比较满意的解释，可是这样的话，就离我还很远了。

好吧，我们还是先回到相对论力学的推导中。

“无”中生有

上一篇文章我们已经构建了相对论力学的无穷小生成元，并进行了延拓。我已经说过，仅需要无穷小的变换形式，就可以构建出完成的相对论力学定律出来（当然这需要一些比较“显然”的假设）。这是个几乎从“无”到有的过程，也是本文标题的含义所在。另一方面，这种从局部到整体的可能性，也给我们带来一些启示：假如方法是普适的，那么可以由此构造出我们需要的物理定律来，包括电磁场、引力场方程等。（当然，我离这个目标还有点远。）

点击阅读全文...

费马大定理，也叫做费马最后定理(Fermat Last Theorem)，说的是

设$n$是大于2的正整数，则不定方程$x^n+y^n=z^n$没有全不为0的整数解。

Pierre_de_Fermat

稍微阅读过数学史的朋友应该知道，该定理首先于1637年由法国业余数学家费马（Pierre de Fermat）在阅读丢番图《算术》拉丁文译本时写在第11卷第8命题旁写道。他并附加道：“我发现了一个非常漂亮的证明，但这里没有足够的空间可容纳得下。”根据后世的考证，费马或许有办法证明n=3,4,5的情形，但不大可能给出一般性的证明，因为在20世纪90年代，怀尔斯用了130页的纸张，而且用到了复杂的现代理论，才完全证明了费马大定理。所以费马当时的这一断言，更可能只是一个归纳猜测。

点击阅读全文...

现在可以开始$n=3$的证明了。在实整数范围内n=3的证明看起来相当复杂，而且跟n=4的证明似乎没有相通之处。然而，如果我们在$\mathbb{Z}[\omega]$中考虑$x^3+y^3+z^3=0$无解的证明，就会跟n=4时有很多类似的地方，而且事实上证明比n=4时简单（要注意在实整数范围内的证明，n=4比n=3简单。费马完成了n=4的证明，但是没完成n=3的证明。）。我想，正是这样的类似之处，才让当初还没有完成证明的数学家拉梅就自信他从这条路可以完成费马大定理的证明。（不过，这自信却是失败的案例：拉梅的路不能完全走通，而沿着这条路走得更远的当属库默，但即便这样，库默也没有证明费马大定理。）

证明跟$n=4$的第二个证明是类似的。我们先往方程中添加一个单位数，然后证明无论单位数是什么，方程在$\mathbb{Z}[\omega]$中都无解。这是一个很妙的技巧，让我们证明了更多的方程无解，但是却用到了更少的步骤。事实上，存在着只证明$x^3+y^3+z^3=0$无解的证明，但需要非常仔细地分析里边的单位数情况，这是相当麻烦的。本证明是我参考了Fermats last theorem blogspot上的证明，然后结合本系列n=4的第二个证明，简化而来，主要是减少了对单位数的仔细分析。

点击阅读全文...

圆上的有理点

我们在这个系列的文章之中，探索了一些有关环和域的基本知识，并用整环以及唯一分解性定理证明了费马大定理在n=3和n=4时的情形。使用高斯整数环或者艾森斯坦整数环的相关知识，相对而言是属于近代的比较“高端”的代数内容（高斯生于1777年，艾森斯坦生于1823年，然而艾森斯坦英年早逝，只活到了1852年，高斯还活到了1855年。）。如果“顺利”的话，我们可以用这些“高端”的工具证明解的不存在性，或者求出通解（如果有解的话）。

然而，对于初等数论来讲，复数环和域的知识的门槛还是有点高了。其次，环和域是一个比较“强”的工具。这里的“强”有点“强势”的意味，是指这样的意思：如果它成功的话，它能够“一举破城”，把通解都求出来（或者证明解的不存在）；如果它不成功的话，那么往往就连一点非平凡的解都求不出来。可是，有些问题是求出一部分解都已经很困难了，更不用说求出通解了（我们以后在研究$x^4+y^4 = z^4 + w^4 $的整数解的时候，就能深刻体会这点。）。因此，对于这些问题，单纯用环域的思想，很难给予我们（至少一部分）解。（当然，问题是如何才算是“单纯”，这也很难界定。这里的评论是比较粗糙的。）

点击阅读全文...

本文我们继续之前的变分自编码器系列，分析一下如何防止NLP中的VAE模型出现“KL散度消失（KL Vanishing）”现象。本文受到参考文献是ACL 2020的论文《A Batch Normalized Inference Network Keeps the KL Vanishing Away》的启发，并自行做了进一步的完善。

值得一提的是，本文最后得到的方案还是颇为简洁的——只需往编码输出加入BN（Batch Normalization），然后加个简单的scale——但确实很有效，因此值得正在研究相关问题的读者一试。同时，相关结论也适用于一般的VAE模型（包括CV的），如果按照笔者的看法，它甚至可以作为VAE模型的“标配”。

最后，要提醒读者这算是一篇VAE的进阶论文，所以请读者对VAE有一定了解后再来阅读本文。

VAE简单回顾

这里我们简单回顾一下VAE模型，并且讨论一下VAE在NLP中所遇到的困难。关于VAE的更详细介绍，请读者参考笔者的旧作《变分自编码器（一）：原来是这么一回事》、《变分自编码器（二）：从贝叶斯观点出发》等。

VAE的训练流程

VAE的训练流程大概可以图示为

VAE训练流程图示

点击阅读全文...

首先谈点题外话，关于本系列以及本博客的写作。其实本博客的写作内容，代表了笔者在这段时间附近的研究成果。也就是说，我此时在写这篇文章，其实表明我这段时间正在研究这个问题。而接下来的研究是否有结果，有怎样的结果，则是完全不知道的。所以，我在写这篇文章的时候，并不确定下一篇文章会写些什么。有些类似的话题，我会放在同一个系列去写。但不管怎样，这些文章可能并不遵循常规的教学或者学习思路，有些内容还可能与主流的思想方法有相当出入，请读者见谅，望大家继续支持！

上一篇我们谈到了切线法来求二次和三次曲线的有理点。切线法在寻找不高于三次的曲线上的有理点是很成功的，可是对于更高次的曲线有没有类似的方法呢？换句话说，有没有推广的可能性。我们从纯代数的角度来回复一下切线法生效的原因。切线法，更一般的是割线法，能够起作用，主要是因为如果有理系数的三次方程有两个有理数的根，那么第三个根肯定是有理数。如果只有一个已知的有理根，那么就可以让两个根重合为已知的那个根，从而割线变成了切线。

点击阅读全文...

在2018年的文章里《f-GAN简介：GAN模型的生产车间》笔者介绍了f-GAN，并评价其为GAN模型的“生产车间”，顾名思义，这是指它能按照固定的流程构造出很多不同形式的GAN模型来。前几天在arxiv上看到了新出的一篇论文《Designing GANs: A Likelihood Ratio Approach》（后面简称Designing GANs或原论文），发现它在做跟f-GAN同样的事情，但走的是一条截然不同的路（不过最后其实是殊途同归），整篇论文颇有意思，遂在此分享一番。

f-GAN回顾

从《f-GAN简介：GAN模型的生产车间》中我们可以知道，f-GAN的首要步骤是找到满足如下条件的函数$f$：

1、$f$是非负实数到实数的映射（$\mathbb{R}^* \to \mathbb{R}$）；

2、$f(1)=0$；

3、$f$是凸函数。

点击阅读全文...