科学空间|Scientific Spaces

用理论物理来卷机器学习已经不是什么新鲜事了，比如上个月介绍的《生成扩散模型漫谈（十三）：从万有引力到扩散模型》就是经典一例。最近一篇新出的论文《Self-Supervised Learning based on Heat Equation》，顾名思义，用热传导方程来做（图像领域的）自监督学习，引起了笔者的兴趣。这种物理方程如何在机器学习中发挥作用？同样的思路能否迁移到NLP中？让我们一起来读读论文。

基本方程

如下图，左边是物理中热传导方程的解，右端则是CAM、积分梯度等显著性方法得到的归因热力图，可以看到两者有一定的相似之处，于是作者认为热传导方程可以作为好的视觉特征的一个重要先验。

热方程的热力图（左）和视觉模型的热力图（右）

点击阅读全文...

多彩金庸

在金庸笔下（其实很多武侠小说都如此），武功可以分三种：第一种是实打实的猛，如洪七公的降龙十八掌、金轮法王的龙象般若功等，它们的特点是主要特点是刚猛，比如

乔峰的降龙二十八掌是丐帮前任帮主汪剑通所传，但乔峰生俱异禀，于武功上得天独厚，他这降龙二十八掌摧枯拉朽，无坚不破，较之汪帮主尤有胜过。乔峰见对方双掌齐推，自己如以单掌相抵，倘若拼成平手，自己似乎稍占上风，不免有失恭敬，于是也双掌齐出。他左右双掌中所使掌力，也仍都是外三内七，将大部分掌力留劲不发。

——出自《天龙八部》世纪新修版

第二种是以虚招为主，也就是说你不能比对手猛，你骗倒对手也行，比如桃花岛的落英神剑掌：

这套掌法是黄药师观赏桃花岛中桃花落英缤纷而创制，出招变化多端，还讲究姿势之美。她双臂挥动，四方八面都是掌影，或五虚一实，或八虚一实，直似桃林中狂风忽起、万花齐落，妙在手足飘逸，宛若翩翩起舞，但她一来功力尚浅，二来心存顾惜，未能出掌凌厉如剑。郭靖眼花缭乱，哪里还守得住门户，不提防啪啪啪啪，左肩右肩、前胸后背，接连中了四掌，黄蓉全未使力，郭靖自也不觉疼痛。

——出自《射雕英雄传》世纪新修版

第三种是以巧招为主，它不求一味刚猛，也不一味虚虚实实，而且讲究用力恰到好处，起到“以柔克刚”、“四两拨千斤”之效。显然，这种武功的代表作是太极，另外打狗棒法、乾坤大挪移、还有全真教和古墓派的武功也暗含了这个道理，比如：

点击阅读全文...

海伦公式是已知三角形三边的长度$a,b,c$来求面积$S$的公式，是一个相当漂亮的公式，它不算复杂，同时它关于$a,b,c$是对称的，充分体现了三边的同等地位。可是，这样具有对称美的公式推导，往往要经过一个不对称的过程，比如维基百科上的证明，这未免有点美中不足。本文的目的，就是想为此补充一个对称的推导。本文题目为“物理推导”，关键在于“推导”而不是“证明”，同时这里的“物理”并非是通过物理类比而来，而是推导的思想和方法很具有“物理味道”。

$$\sqrt{p(p-a)(p-b)(p-c)}$$

在推导开始之前，笔者给出一个评论：海伦公式似乎是由三边长求三角形面积的所有可能的公式之中最简单的一个。

点击阅读全文...

一般来说，如果原函数容易找到的话，牛顿-莱布尼兹公式是定积分的通用方法。但是牛顿-莱布尼兹公式只适合连续函数的积分，如果积分区间含有奇点，那就不成立了。比如，我们考虑积分
$$\int_{-1}^1 \frac{1}{x^2}dx$$
当然，从严格的数学上来说，这种写法是不成立的，因为被积函数在原点没有意义。当然，从物理的角度来考虑，由于对称性，我们确信
$$\int_{-1}^1 \frac{1}{x^2}dx=2\int_{0}^1 \frac{1}{x^2}dx=\lim_{\varepsilon\to 0}2\int_{\varepsilon}^1 \frac{1}{x^2}dx$$
从而得出积分发散的结论。这种处理某种程度上是可以接受的，但是却不是让人满意的，因为它导致了分段。有什么办法可以直接处理这种情况呢？确实有的，同样引入参数，并且最终让参数为0，考虑带参数的积分
$$\int_{-1}^1 \frac{1}{x^2+\varepsilon^2}dx$$
只要参数为正，这个被积函数就在$\mathbb{R}$上处处连续了，也就是奇点消失了，这样子就可以用牛顿-莱布尼兹公式了
$$\int_{-1}^1 \frac{1}{x^2+\varepsilon^2}dx=\left.\frac{1}{\varepsilon}\arctan\left(\frac{x}{\varepsilon}\right)\right|_{-1}^{1}$$
考虑$\varepsilon\to 0$的情况，就自动得到了积分发散的结论。

点击阅读全文...

牛腩过冷河

除了数学物理和中国象棋，我闲时也喜欢弄一下吃的。看到各种菜料经过自己的加工变成佳肴，也是一件美不胜收的事情；有时看到同样的菜料能够做出不同款式、不同味道的菜时，更是其乐无穷。作为广东人，我很自豪于其中一句话：“广东人吃所有东西——天上飞的，除了飞机；地上爬的，除了火车；水中游的，除了潜艇”。虽然不免有些夸张，但这句话充分显示了广东人（或者说岭南地区）饮食和烹饪的强大本领。我的厨房技术来源于我妈妈，小时候妈妈在家里做菜，由于是烧柴草生火，所以我得在灶前看好火。于是看火之时也在看妈妈做菜，久而久之，也会学会了一些做菜的方法。而现在，妈妈仍是家里的厨房好手，而我也不时进入厨房，做做自己喜欢吃的东西。谢谢我的好妈妈！

炼钢

本文叫“炼钢.vs.做菜”，这两者基本上是风牛马不相及，不过我却发现它们有一点点相似的技巧。已不记得什么时候了，在一本自然科学的书上，我曾看到过炼钢的两种技术：淬火和退火（后来发现还有正火、回火等，原理类似）。简单来说，淬火是将一块钢铁烧红，然后放进冷水中迅速冷却（也就是加热到一定温度，然后迅速冷却），如此重复，便可使得钢铁变硬，但同时也会更脆；退火则刚刚相反，它是将钢铁烧红后，让它自然冷却（有必要时，想办法降低冷却速度），如此一来，钢铁变软了，也变韧了。正火、回火均与退火类似，只是在细节上不同。通过淬火和退火的适当组合，可以生产出硬度和韧度都适当的钢铁。

点击阅读全文...

在线阅读地址：
http://www.feynmanlectures.caltech.edu/

刚在浏览《朗道集结号》的微博时，发现了这一造福大众的消息。难得的是，这个在线版通过MathJax使用Latex排版，阅读效果完全丝毫不输于纸质版的，还可以自由复制。只是遗憾只有英文版的，也许有一天心血来潮，我也弄个在线的中文版出来，呵呵。一切皆有可能。

费曼的物理讲义是一套地地道道的物理书，它是一次美妙的物理之旅。纵使你可能已经读过相当多的物理教材，但是读读费曼的讲义还是大有裨益的，它给我们讲述了什么才是物理，怎么才能学物理。

在狭义相对论发表之前和之后，都有不少实验从不同角度论证了它的正确性。这些实验大多数是实际测量得出结果的，当然也存在着一些“理想实验”，这些实验只需要一定的逻辑推理，而实际上是无法完成的。下面就是我很久之前在某本书（很抱歉，我真的忘记书名了）看到的一个用来推翻光速可叠加的伽利略变换的理想实验。它只用寥寥几句，就好像已经证明了“c+c=c”（c是真空中的光速）的事实。可是“c+c=c”在狭义相对论上是作为原理出现的，是不可能通过逻辑推理来证明的。事实究竟如何？我们先来看这个实验。

光速不变的理想实验

任意选定一个坐标原点。设想原点的正北方$c\cdot t_0$处有一架以光速$c$朝南运行的飞机1；原点的正西方$c\cdot t_0$处有一架以光速$c$朝东运行的飞机2。假设就这样匀速运动着，显然，$t_0$时间后，将会发生惨剧（飞机相撞）。

点击阅读全文...

附：期中考过后，课程紧了，自由时间少了，因此科学空间的更新也放缓了。不过BoJone也会尽量地更新一些内容，和大家一同分享学习的乐趣。

闭区间[a,b]上的连续函数?(x)，其最大值为红色点，最小值为蓝色点

上一周和这一周的时间里，BoJone将自己学习物理和极值的一些内容进行了总结和整合，写成了《自然极值》一文。因此从今天起，到十二月的大多数时间里，科学空间将和大家讲述并讨论关于“极值”的问题，希望读者会喜欢这部分内容。当然，我不是专业的研究人员，更不是经验丰富的物理和数学教师，甚至可以说是一个“乳臭未干的小子”，因此，错误在所难免，只希望同好不吝指出，更希冀能够起到我抛出的这一块“砖”能够引出美妙的“玉”。

点击阅读全文...