小时候总是听到“光阴似箭”，却总是觉得时间过得飞快，尤其是放假的时间迟迟不来。而现在，随着年龄的增长，我却发现，想要留住时间，如同抽刀断水一般，无济于事。尤其是美好的时刻，稍瞬即逝。大学，上学、军训的情况依然清晰在目，犹如发生在昨天，而现在已经是寒假了。有时我会怀疑是不是我的记忆力增强了，却发现没有这回事。原来，真相只有一个：光阴似箭！
我不喜欢仔细地规划自己的人生，因为未来太多未知了，也许你今天发现这方面很有趣，明天又会发现另一方面很有趣，所以我只知道我尽力做好当前喜欢做的事情就行。因此，在上大学之前，我也没有对大学想太多。想象中的大学是一个静静自修的教室加上一个丰富的图书馆而已。来到华师，确实有点意外，也有点遗憾，但是，仅此而已。虽然以前努力过要奔向更优秀的大学，但是这已经成为我宝贵的经验。以后在和朋友聊天时，我又多了一个话题。这不得不说是一件很美妙的事情！
24
Mar
费曼积分法(5)：欧拉数学的传承
By 苏剑林 | 2013-03-24 | 23418位读者 | 引用在大学第二学期，我们的《数学分析》终于龟速地爬行到了定积分这一章节。对于一些比较复杂的定积分，我总想用自己的方法来解决它，这就重新燃起了我对“费曼积分法——积分符号内取微分”的热情。尤其是我用费曼积分法解决了几道比较有趣复杂的定积分问题时，成就感高涨，遂在此总结，与大家共勉。
这和欧拉数学有什么关系呢？之前已经提到过，欧拉数学是用一种不严谨却极具创造性的方式，给予我们对数学的介乎感性和理性的直观理解。我觉得费曼积分法也属于这个范畴内，它着眼于用一种特殊的视角解决问题，而暂时忽略掉数学严密性。在读费曼的故事中，我感觉到这种思想是贯穿他一生的研究之中的。
本文继续对费曼积分法的研究，得出一些不是很严谨的结论，为以后的应用奠下基础。
一、不成立的函数
首先我们重新考虑$\int_0^{\infty} \frac{\sin x}{x}dx$。这一次我们将它引入复数范畴内，考虑：
$$\int_0^{\infty}\frac{\cos x+i \sin x}{x}dx=\int_0^{\infty}\frac{e^{ix}}{x}dx$$
26
Mar
GELU的两个初等函数近似是怎么来的
By 苏剑林 | 2020-03-26 | 51803位读者 | 引用GELU，全称为Gaussian Error Linear Unit，也算是RELU的变种，是一个非初等函数形式的激活函数。它由论文《Gaussian Error Linear Units (GELUs)》提出，后来被用到了GPT中，再后来被用在了BERT中，再再后来的不少预训练语言模型也跟着用到了它。随着BERT等预训练语言模型的兴起，GELU也跟着水涨船高，莫名其妙地就成了热门的激活函数了。
gelu函数图像
在GELU的原始论文中，作者不仅提出了GELU的精确形式，还给出了两个初等函数的近似形式，本文来讨论它们是怎么得到的。
28
Dec
Transformer升级之路：6、旋转位置编码的完备性分析
By 苏剑林 | 2022-12-28 | 39452位读者 | 引用在去年的文章《Transformer升级之路：2、博采众长的旋转式位置编码》中，笔者提出了旋转位置编码（RoPE），当时的出发点只是觉得用绝对位置来实现相对位置是一件“很好玩的事情”，并没料到其实际效果还相当不错，并为大家所接受，不得不说这真是一个意外之喜。后来，在《Transformer升级之路：4、二维位置的旋转式位置编码》中，笔者讨论了二维形式的RoPE，并研究了用矩阵指数表示的RoPE的一般解。
既然有了一般解，那么自然就会引出一个问题：我们常用的RoPE，只是一个以二维旋转矩阵为基本单元的分块对角矩阵，如果换成一般解，理论上效果会不会更好呢？本文就来回答这个问题。
指数通解
在《Transformer升级之路：4、二维位置的旋转式位置编码》中，我们将RoPE抽象地定义为任意满足下式的方阵
\begin{equation}\boldsymbol{\mathcal{R}}_m^{\top}\boldsymbol{\mathcal{R}}_n=\boldsymbol{\mathcal{R}}_{n-m}\label{eq:re}\end{equation}
最近评论