10
Dec
Muon优化器赏析：从向量到矩阵的本质跨越
By 苏剑林 | 2024-12-10 | 6353位读者 | 引用随着LLM时代的到来，学术界对于优化器的研究热情似乎有所减退。这主要是因为目前主流的AdamW已经能够满足大多数需求，而如果对优化器“大动干戈”，那么需要巨大的验证成本。因此，当前优化器的变化，多数都只是工业界根据自己的训练经验来对AdamW打的一些小补丁。
不过，最近推特上一个名为“Muon”的优化器颇为热闹，它声称比AdamW更为高效，且并不只是在Adam基础上的“小打小闹”，而是体现了关于向量与矩阵差异的一些值得深思的原理。本文让我们一起赏析一番。
Muon与AdamW效果对比（来源：推特@Yuchenj_UW）
20
Mar
《方程与宇宙》:二体问题的来来去去(一)
By 苏剑林 | 2010-03-20 | 94688位读者 | 引用
二体问题的轨道模拟
为了让大家能够查询到“天体力学”方面的内容，同时锻炼我的表达和计算能力，BoJone构思了《方程与宇宙》这个主题，主要是写一些关于使用数学相对深入地讨论一些天文问题。其实我一直觉得，不用公式是无法完美地描述科学的（当然也不能纯公式），我记得霍金的《时间简史》以及《果壳中的宇宙》等之类的书，都力求不用或者尽可能少用数学公式来表达自己的观点。这种模式对于对于公众来说是很好的，但是对于希望深入研究的朋友来说却难以进行。所以我主张：宇宙是算出来的！
这个主题每一个字都是由BoJone敲击出来的，其中包括引用了《天体力学引论》里面的一些内容，以及加入了BoJone个人的一些见解。由于篇幅长及时间有限问题，BoJone打算分若干次撰写发布，并且尽可能写得通俗一点，力求让有一点微积分基础的朋友就可以弄懂。这里首先发布第一部分。由于时间匆忙等原因，可能会出现一些疏忽，欢迎大家挑错！
27
Jun
威力巨大的“有向线段”
By 苏剑林 | 2010-06-27 | 20542位读者 | 引用
7
Nov
为什么是抛物线？——聚光面研究
By 苏剑林 | 2010-11-07 | 90162位读者 | 引用
13
Nov
意犹未尽——继续光学曲线
By 苏剑林 | 2010-11-13 | 52695位读者 | 引用
20
Jan
《方程与宇宙》：三体问题和它的初积分(六)
By 苏剑林 | 2011-01-20 | 63301位读者 | 引用The Three Body Problem and its Classical Integration
很多天文爱好者都已经接触到了“二体问题”（我们在高中学习到的“开普勒三定律”就是内容之一），由于在太阳系中行星质量相对较小而且距离相对较远，应用“二体问题”的解对天体进行计算、预报等能够满足一定的近似需求。不过，如果需要更高精度的计算，就不能把其他行星的引力给忽略掉了，于是就产生了所谓N体问题（N-Body Problem），即N个质点尽在它们各自引力的相互作用下的运动规律问题。最简单的二体已经被彻底解决，而三体或更多体的问题则与二体大相径庭，因为庞加莱证明了，三体问题不能严格求解，而且这是一个混沌系统，任何微小的扰动都会造成不可预期的效果。
根据牛顿力学，选择惯性参考系，设三个质点分别为$M_1,M_2,M_3$，向径分别为$\vec{r_1},\vec{r_2},\vec{r_3}$，可以列出运动方程（以下的导数都默认是对时间t求导）
最近评论