科学空间|Scientific Spaces

我们知道，梯度裁剪（Gradient Clipping）是让模型训练更加平稳的常用技巧。常用的梯度裁剪是根据所有参数的梯度总模长来对梯度进行裁剪，其运算可以表示为
\begin{equation}\text{clip}(\boldsymbol{g},\tau)=\left\{\begin{aligned}&\boldsymbol{g}, &\Vert\boldsymbol{g}\Vert\leq \tau \\
&\frac{\tau}{\Vert\boldsymbol{g}\Vert}\boldsymbol{g},&\Vert\boldsymbol{g}\Vert > \tau
\end{aligned}\right.\end{equation}
这样一来，$\text{clip}(\boldsymbol{g},\tau)$保持跟$\boldsymbol{g}$相同的方向，但模长不超过$\tau$。注意这里的$\Vert\boldsymbol{g}\Vert$是整个模型所有的参数梯度放在一起视为单个向量所算的模长，也就是所谓的Global Gradient Norm。

不知道大家有没有留意到一个细节：不管是数百万参数还是数百亿参数的模型，$\tau$的取值在很多时候都是1。这意味着什么呢？是单纯地复用默认值，还是背后隐含着什么深刻的原理呢？

点击阅读全文...

为了拓展整数的概念，我们需要了解关于环和域这两个代数结构，这些知识在网上或者相应的抽象代数教程中都会有。抽象地提出这两个代数结构，是为了一般地处理不同的数环、数域中的性质。在自然数集$\mathbb{N}$中，可以很方便定义和比较两个数字的大小，并且任意一个自然数的子集，都存在最小元素，这两点综合起来，我们就说$\mathbb{N}$是“良序”的（这也是数学归纳法的基础）。在良序的结构中，很多性质的证明变得很简单，比如算术基本定理。然而，一般的数环、数域并没有这样的“良序”，比如任意两个复数就不能比较大小。因此，一般的、不基于良序的思想就显得更为重要了。

环和域

关于环（Ring）的定义，可以参考维基百科上面的“环（代数）”条目。简单来说，环指的是这样一个集合，它的元素之间可以进行加法和乘法，并满足一些必要的性质，比如运算封闭性、加法可交换性等。而数论中大多数情况下研究的是数环，它指的是集合是数集的情况，并且通常来说，元素间的加法和乘法就是普通的数的加法和乘法。比如所有的实整数就构成一个数环$\mathbb{Z}$，这个数环是无限的；所有的偶整数也构成一个数环$2\mathbb{Z}$；对于素数$p$，在模$p$之下，数集$\{0,1,2,\dots,p-1\}$也构成了一个环，更特别的，它还是一个数域。

点击阅读全文...

在上一篇文章中，笔者提到似乎证明n=4时必须要证明$x^4+y^4=z^2$无解而不能只证明$x^4+y^4=z^4$无解。不过，在今天中午研究的时候，笔者发现了另外一个n=4的证明，它同样是在$\mathbb{Z}[i]$中，但是，证明的则是指数全是4的形式，但是，又不单单是$x^4+y^4=z^4$的形式，而是$\varepsilon x^4+y^4=z^4$，$\varepsilon$是单位数。这个证明过程，我觉得应该更接近n等于其他奇素数时的证明，遂补充了这篇文章，供大家参考。读者可以对比着上一篇文章进行比较阅读。

引理

用$\varepsilon_1,\varepsilon_2,\varepsilon_3,\varepsilon$表示$\mathbb{Z}[i]$中的单位数，下面先证明

如果方程$\varepsilon_1 x'^4 +\varepsilon_2 y'^4+\varepsilon_3 z'^4=0$在$\mathbb{Z}[i]$中有全不为0的解，那么在经过适当的化简和整理之后，方程必有形式$\varepsilon x^4+y^4=z^4$，其中$(x,y,z)$是$(x',y',z')$的某个置换，$\xi^2|x$。

点击阅读全文...

某天在浏览高教社的“i数学”编辑的微博时候，发现上面有一道Knotsevich在黑板上写的他认为很有意思的题目，原始网址是：http://weibo.com/3271276117/BBrL5foVz。

Knotsevich在黑板上写的级数题目

题目是这样的
$$\sum_{n=0}^{\infty} \frac{n! (20n)!}{(4n)!(7n)!(10n)!}x^n\tag{1}$$
大概的目的是找出原函数的表达式吧。

点击阅读全文...

在生活上，我是一个比较传统的人，因此每到节日我都会尽量回家跟家人团聚。也许会让大家比较吃惊的是，今年的国庆是我第一个不在家的国庆。的确，从小学到高中，上学的地方离家都比较近，每周回去一次都是不成问题的。现在来到了广州，就不能太随心了。虽然跟很多同学相比，我离家还是比较近的，但是来回也要考虑车费、时间等等。国庆假期时间虽然很长，但是中秋已经回去一趟了，所以我决定国庆就不再回去了。

对我来说，中秋跟国庆相比，中秋的意义更大些。所以我选择了国庆不回家。对家人而言，看到自己平安就好，因此哪一天回去他们都会很高兴，当然，对于农村人来说，中秋的味道更浓，更希望团聚。

点击阅读全文...

之前已经稍微提及到了MTW的《引力论》，这本由C.W.麦思纳（Charles W.Misner）、K.S.索恩（Kip S.Thorne）、J.A.惠勒（John Archibald Wheeler）联合编写的广义相对论教材，被誉为引力中的“《圣经》”。自从我看到它的信息开始，我就一直对它念念不忘，一直希望能找到那本台湾翻译的中文版。无奈天朝的各种因素，让我难以如愿。通过翻墙到PChome的全球购物，结合各种手段，我终于买到了这本《圣经》！

引力论1

点击阅读全文...

“维基百科”翻译又开始了，这次我们来关注下北美洲的一种珍贵动物——草原狐。
这个条目在中文的维基上没有出现过，但英文上有，现在我把它翻译过来了。由于只有两年的初中生物学习经验，所以一定有很多翻译不当的地方，请大家多提意见！谢谢

图片说明：草原狐，来自“维击百科”

点击阅读全文...

多彩金庸

在金庸笔下（其实很多武侠小说都如此），武功可以分三种：第一种是实打实的猛，如洪七公的降龙十八掌、金轮法王的龙象般若功等，它们的特点是主要特点是刚猛，比如

乔峰的降龙二十八掌是丐帮前任帮主汪剑通所传，但乔峰生俱异禀，于武功上得天独厚，他这降龙二十八掌摧枯拉朽，无坚不破，较之汪帮主尤有胜过。乔峰见对方双掌齐推，自己如以单掌相抵，倘若拼成平手，自己似乎稍占上风，不免有失恭敬，于是也双掌齐出。他左右双掌中所使掌力，也仍都是外三内七，将大部分掌力留劲不发。

——出自《天龙八部》世纪新修版

第二种是以虚招为主，也就是说你不能比对手猛，你骗倒对手也行，比如桃花岛的落英神剑掌：

这套掌法是黄药师观赏桃花岛中桃花落英缤纷而创制，出招变化多端，还讲究姿势之美。她双臂挥动，四方八面都是掌影，或五虚一实，或八虚一实，直似桃林中狂风忽起、万花齐落，妙在手足飘逸，宛若翩翩起舞，但她一来功力尚浅，二来心存顾惜，未能出掌凌厉如剑。郭靖眼花缭乱，哪里还守得住门户，不提防啪啪啪啪，左肩右肩、前胸后背，接连中了四掌，黄蓉全未使力，郭靖自也不觉疼痛。

——出自《射雕英雄传》世纪新修版

第三种是以巧招为主，它不求一味刚猛，也不一味虚虚实实，而且讲究用力恰到好处，起到“以柔克刚”、“四两拨千斤”之效。显然，这种武功的代表作是太极，另外打狗棒法、乾坤大挪移、还有全真教和古墓派的武功也暗含了这个道理，比如：

点击阅读全文...