3
Mar
指数梯度下降 + 元学习 = 自适应学习率
By 苏剑林 | 2022-03-03 | 34327位读者 | 引用前两天刷到了Google的一篇论文《Step-size Adaptation Using Exponentiated Gradient Updates》，在其中学到了一些新的概念，所以在此记录分享一下。主要的内容有两个，一是非负优化的指数梯度下降，二是基于元学习思想的学习率调整算法，两者都颇有意思，有兴趣的读者也可以了解一下。
指数梯度下降
梯度下降大家可能听说得多了，指的是对于无约束函数$\mathcal{L}(\boldsymbol{\theta})$的最小化，我们用如下格式进行更新：
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta\nabla_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}_t)\end{equation}
其中$\eta$是学习率。然而很多任务并非总是无约束的，对于最简单的非负约束，我们可以改为如下格式更新：
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t \odot \exp\left(- \eta\nabla_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}_t)\right)\label{eq:egd}\end{equation}
这里的$\odot$是逐位对应相乘（Hadamard积）。容易看到，只要初始化的$\boldsymbol{\theta}_0$是非负的，那么在整个更新过程中$\boldsymbol{\theta}_t$都会保持非负，这就是用于非负约束优化的“指数梯度下降”。
16
Aug
微积分学习（一）：极限
By 苏剑林 | 2009-08-16 | 28113位读者 | 引用本文不是微积分教程，而是发表自己学习中的一些看法，以及与同好们讨论相关问题。
拿起任何一本“微积分”教程，都可以看见那专业而严格的数学语言，因此很多人望而生畏。的确，由于牛顿和莱布尼茨创立的微积分是不严格的，因此引发了第二次数学危机。经过法国数学家柯西和德国数学家魏尔斯特拉斯的努力，使得微积分有了前所未有的严密化，克服了第二次数学危机。加之后来的第三次数学危机，数学就更加严密了。
但是对于初学者，严密化的微积分令人十分费解。因此，我们不妨按照微积分的创立顺序，即“不严密——严密”的顺序来学习。这样不仅能够让我们更高效率地学习，而且增加学习数学的兴趣。
1
Oct
【NASA每日一图】春分时刻的土星
By 苏剑林 | 2009-10-01 | 20695位读者 | 引用
7
Oct
两男一女分享2009年诺贝尔化学奖
By 苏剑林 | 2009-10-07 | 19345位读者 | 引用
14
Nov
科学空间相册上线,与你分享科学图片
By 苏剑林 | 2009-11-14 | 16962位读者 | 引用
23
Jan
《积分公式大全》电子书
By 苏剑林 | 2010-01-23 | 77159位读者 | 引用注：2019.02.13 由科学空间苏剑林（https://kexue.fm）更新，修正公式76，并简化latex。
物理、天文研究得深入了，微积分的应用自然也就多了（其实很多内容都用到微积分）。所以弄出一个几何或者力学问题，随手就列出一道积分或者微分方程，这时求解是最重要的。对于我来说，求导数可以娓娓道来，轻松而得；而积分则比较困难（这与个人的技巧有关，更重要的是事实：导数几乎有通用的公式，而积分只能“凑”出来）。
因此，很多积分干脆依靠现成的公式，懒得去推导了。然后，并非随时随地都有《数学分析》在手的，对计算机数学软件的实用又不大熟悉，这时候只能够求助这一本《积分表》了。只要不是故意去钻那些竞赛级别的数学难题，这已经足够应付物理等方面的应用了。
这时候就这也不用愁到处找$\int \sqrt{a^2-x^2}dx$的结果了。
21
Jul
中国队2010年再获IMO团体总分第一
By 苏剑林 | 2010-07-21 | 21128位读者 | 引用IMO，International Mathematical Olympiad，国际数学奥品匹克竞赛，是中学数学最高水平的国际比赛，由东欧国家发起。是为全球高中学生举办的世界最高水平的数学赛事。BoJone对它很感兴趣，不过它过于注重纯数学，应用数学少，致使BoJone不愿意放太多精力下去，因为我始终对具有明显的实际应用意义的数学和物理更感兴趣。
2010_imo_news_1
2010年7月2－14日在哈萨克斯坦共和国首都阿斯塔纳举行的第51届国际数学奥林匹克竞赛中，中国队6名参赛选手全部获得金牌，其中来自上海的Nie Zipei同学以本届惟一一个取得满分42分的成绩，而荣获绝对冠军，另外，Jialun Li为36分、Yikang Xiao为34分、Min Zhang为30分、Li Lai 为28分、Su Jun 为27分；中国队以总分197分（满分252），连续三年获得团体总分第一名（2007年获得亚军）；中国队自1985年以来参赛25次，共获得过16次冠军；1998年未参加在台湾举行的比赛。本届比赛，俄罗斯队以169分获得亚军，美国队以一分之差屈居季军。
6
Oct
最近评论