指数梯度下降 + 元学习 = 自适应学习率
By 苏剑林 | 2022-03-03 | 34327位读者 | 引用前两天刷到了Google的一篇论文《Step-size Adaptation Using Exponentiated Gradient Updates》,在其中学到了一些新的概念,所以在此记录分享一下。主要的内容有两个,一是非负优化的指数梯度下降,二是基于元学习思想的学习率调整算法,两者都颇有意思,有兴趣的读者也可以了解一下。
指数梯度下降
梯度下降大家可能听说得多了,指的是对于无约束函数$\mathcal{L}(\boldsymbol{\theta})$的最小化,我们用如下格式进行更新:
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta\nabla_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}_t)\end{equation}
其中$\eta$是学习率。然而很多任务并非总是无约束的,对于最简单的非负约束,我们可以改为如下格式更新:
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t \odot \exp\left(- \eta\nabla_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}_t)\right)\label{eq:egd}\end{equation}
这里的$\odot$是逐位对应相乘(Hadamard积)。容易看到,只要初始化的$\boldsymbol{\theta}_0$是非负的,那么在整个更新过程中$\boldsymbol{\theta}_t$都会保持非负,这就是用于非负约束优化的“指数梯度下降”。
微积分学习(一):极限
By 苏剑林 | 2009-08-16 | 28113位读者 | 引用本文不是微积分教程,而是发表自己学习中的一些看法,以及与同好们讨论相关问题。
拿起任何一本“微积分”教程,都可以看见那专业而严格的数学语言,因此很多人望而生畏。的确,由于牛顿和莱布尼茨创立的微积分是不严格的,因此引发了第二次数学危机。经过法国数学家柯西和德国数学家魏尔斯特拉斯的努力,使得微积分有了前所未有的严密化,克服了第二次数学危机。加之后来的第三次数学危机,数学就更加严密了。
但是对于初学者,严密化的微积分令人十分费解。因此,我们不妨按照微积分的创立顺序,即“不严密——严密”的顺序来学习。这样不仅能够让我们更高效率地学习,而且增加学习数学的兴趣。
【NASA每日一图】春分时刻的土星
By 苏剑林 | 2009-10-01 | 20695位读者 | 引用两男一女分享2009年诺贝尔化学奖
By 苏剑林 | 2009-10-07 | 19345位读者 | 引用科学空间相册上线,与你分享科学图片
By 苏剑林 | 2009-11-14 | 16962位读者 | 引用《积分公式大全》电子书
By 苏剑林 | 2010-01-23 | 77159位读者 | 引用注:2019.02.13 由科学空间苏剑林(https://kexue.fm)更新,修正公式76,并简化latex。
物理、天文研究得深入了,微积分的应用自然也就多了(其实很多内容都用到微积分)。所以弄出一个几何或者力学问题,随手就列出一道积分或者微分方程,这时求解是最重要的。对于我来说,求导数可以娓娓道来,轻松而得;而积分则比较困难(这与个人的技巧有关,更重要的是事实:导数几乎有通用的公式,而积分只能“凑”出来)。
因此,很多积分干脆依靠现成的公式,懒得去推导了。然后,并非随时随地都有《数学分析》在手的,对计算机数学软件的实用又不大熟悉,这时候只能够求助这一本《积分表》了。只要不是故意去钻那些竞赛级别的数学难题,这已经足够应付物理等方面的应用了。
这时候就这也不用愁到处找$\int \sqrt{a^2-x^2}dx$的结果了。
中国队2010年再获IMO团体总分第一
By 苏剑林 | 2010-07-21 | 21128位读者 | 引用IMO,International Mathematical Olympiad,国际数学奥品匹克竞赛,是中学数学最高水平的国际比赛,由东欧国家发起。是为全球高中学生举办的世界最高水平的数学赛事。BoJone对它很感兴趣,不过它过于注重纯数学,应用数学少,致使BoJone不愿意放太多精力下去,因为我始终对具有明显的实际应用意义的数学和物理更感兴趣。
2010年7月2-14日在哈萨克斯坦共和国首都阿斯塔纳举行的第51届国际数学奥林匹克竞赛中,中国队6名参赛选手全部获得金牌,其中来自上海的Nie Zipei同学以本届惟一一个取得满分42分的成绩,而荣获绝对冠军,另外,Jialun Li为36分、Yikang Xiao为34分、Min Zhang为30分、Li Lai 为28分、Su Jun 为27分;中国队以总分197分(满分252),连续三年获得团体总分第一名(2007年获得亚军);中国队自1985年以来参赛25次,共获得过16次冠军;1998年未参加在台湾举行的比赛。本届比赛,俄罗斯队以169分获得亚军,美国队以一分之差屈居季军。
最近评论