科学空间|Scientific Spaces

这篇文章其实在年初就完成了。

众所周知，我们生活在一个平坦的世界中。正如我们能够感受到的那样，在这个被称为“欧几里得平直空间”的世界里，空间里两点间的最短曲线是两点间的直线段，空间里的任意直角三角形都满足勾股定理，每个物体都有着自己的长、宽、高，它们都随着时间的流逝而运动着。这种世界观把时间独立于空间之外，作为一个独特的研究对象。但是自爱因斯坦在1905年发表狭义相对论以来，我们的宇宙就被描述成为了由三维空间和一维时间组成的“四维时空”，在这里，时间和空间的地位是等价的。不少同好们也许会感到非常困惑：即使证明了时间与空间的确存在着某种联系，也不必要把时间描述成是世界的一维吧？在我们的感官里，时间明明就和空间的三维差别甚大，时间和空间怎么能够等同起来呢？其实答案很简单：为了美。把时间看成与空间等价的一维之后，整个力学体系体现出一种前所未有的对称美，这种美不仅让人赏心悦目，而且极大地方便了我们进一步处理问题。

对称

点击阅读全文...

在上一篇文章中我们得到了第23题的解，本来想接着类似地求第24题，但是看着23题的答案，又好像发现了一些新的东西，故没有继续写下去。等到今天在课堂上花了一节课研究了一下之后，得到了关于这种拟齐次微分方程的一些新的结果，遂另开一篇新文章，与大家分享。

一、特殊拟齐次微分方程的通解

在上一篇文章中，我们求出了拟齐次微分方程$\frac{dy}{dx}=x+\frac{x^3}{y}$的解：
$$(2y+x^2)(x^2-y)^2=C$$
或者写成这样的形式：
$$(y+\frac{1}{2} x^2)(y-x^2)^2=C$$

点击阅读全文...

写在前头

经过两年多的开发，本站所用的Typecho终于发布了新版，虽然还是beta，但是我还是迫不及待地升级了。当然，前台并没有变化，但是几乎整个程序都是重构了的，后台也更加清爽了。本文是新版程度的第一篇文章，使用Markdowm语法编写。

----------

牛顿Vs胡克

在所有的力学系统中，最简单的或许就是简谐运动了。它由一个最简单的常系数线性微分方程组描述：
$$\ddot{\boldsymbol{x}}+\omega^2 \boldsymbol{x}=0$$

这也就是物体在弹性形变的胡克定律所描述的力的作用下的运动情况。我们可以很快用三角函数写出该方程的精确解。相比之下，二体问题的解就复杂多了，虽然二体问题也是精确可解的，但是显然没有简谐运动那样简单明了。然而，除了都是有心力之外，它们之间还有一个共同点，它们的运动轨道都是椭圆！（严格来说是圆锥曲线，因为还可能有抛物线跟双曲线，但是不失一般性，本文只分析椭圆轨道）两者之间是否存在着某种联系呢？如果可以将二体问题转变为简谐运动，那么分析过程应该可以大大化简了？

点击阅读全文...

魏尔斯特拉斯定理

将狄拉克函数理解为函数的极限，可以衍生出很丰富的内容，而且这些内容离严格的证明并不遥远。比如，定义
$$\delta_n(x)=\left\{\begin{aligned}&\frac{(1-x^2)^n}{I_n},x\in[-1,1]\\
&0,\text{其它情形}\end{aligned}\right.$$
其中$I_n = \int_{-1}^1 (1-x^2)^n dx$，于是不难证明
$$\delta(x)=\lim_{n\to\infty}\delta_n(x)$$
这样，对于$[a,b]$上的连续函数$f(x)$，我们就得到
$$f(x)=\int_{-1}^1 f(y)\delta(x-y)dy = \lim_{n\to\infty}\int_{-1}^1 f(y)\delta_n(x-y) dy$$
这里$-1 < a < b < 1$，并且我们已经“不严谨”地交换了积分号和极限号，但这不是特别重要。重要的是它的结果：可以看到
$$P_n(x)=\int_{-1}^1 f(y)\delta_n(x-y) dy$$
是$x$的一个$2n$次多项式，因此上式表明$f(x)$是一个$2n$次的多项式的极限！这就引出了著名的“魏尔斯特拉斯定理”：

闭区间上的连续函数都可以用多项式一致地逼近。

点击阅读全文...

在矩阵压缩这个问题上，我们通常有两个策略可以选择，分别是低秩化和稀疏化。低秩化通过寻找矩阵的低秩近似来减少矩阵尺寸，而稀疏化则是通过减少矩阵中的非零元素来降低矩阵的复杂性。如果说SVD是奔着矩阵的低秩近似去的，那么相应地寻找矩阵稀疏近似的算法又是什么呢？

接下来我们要学习的是论文《Monarch: Expressive Structured Matrices for Efficient and Accurate Training》，它为上述问题给出了一个答案——“Monarch矩阵”，这是一簇能够分解为若干置换矩阵与稀疏矩阵乘积的矩阵，同时具备计算高效且表达能力强的特点，论文还讨论了如何求一般矩阵的Monarch近似，以及利用Monarch矩阵参数化LLM来提高LLM速度等内容。

Monarch矩阵形式M=PLPR

值得指出的是，该论文的作者也正是著名的Flash Attention的作者Tri Dao，其工作几乎都在致力于改进LLM的性能，这篇Monarch也是他主页上特意展示的几篇论文之一，单从这一点看就非常值得学习一番。

点击阅读全文...

可能很多读者跟笔者一样，对矩阵的低秩近似有种熟悉而又陌生的感觉。熟悉是因为，低秩近似的概念和意义都不难理解，加之目前诸如LoRA等基于低秩近似的微调技术遍地开花，让低秩近似的概念在耳濡目染间就已经深入人心；然而，低秩近似所覆盖的内容非常广，在低秩近似相关的论文中时常能看到一些不熟悉但又让我们叹为观止的新技巧，这就导致了一种似懂非懂的陌生感。

因此，在这个系列文章中，笔者将试图系统梳理一下矩阵低秩近似相关的理论内容，以补全对低秩近似的了解。而在第一篇文章中，我们主要介绍低秩近似系列中相对简单的一个概念——伪逆。

优化视角

伪逆（Pseudo Inverse），也称“广义逆（Generalized Inverse）”，顾名思义就是“广义的逆矩阵”，它实际上是“逆矩阵”的概念对于不可逆矩阵的推广。

点击阅读全文...

我们的《数学分析》教程上有两道比较有趣的定积分，经测试可以用费曼积分法的思路解决。

$$\begin{aligned}\int_0^1 \frac{\ln(1+x)}{1+x^2}dx \\ \int_0^{\pi} \frac{x \sin x}{1+\cos^2 x}dx\end{aligned}$$

No.1

点击阅读全文...

超高清，NGC 7331，版权：NASA，Dietmar Hager拍摄）

点击阅读全文...