3 Mar

指数梯度下降 + 元学习 = 自适应学习率

前两天刷到了Google的一篇论文《Step-size Adaptation Using Exponentiated Gradient Updates》,在其中学到了一些新的概念,所以在此记录分享一下。主要的内容有两个,一是非负优化的指数梯度下降,二是基于元学习思想的学习率调整算法,两者都颇有意思,有兴趣的读者也可以了解一下。

指数梯度下降

梯度下降大家可能听说得多了,指的是对于无约束函数$\mathcal{L}(\boldsymbol{\theta})$的最小化,我们用如下格式进行更新:
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta\nabla_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}_t)\end{equation}
其中$\eta$是学习率。然而很多任务并非总是无约束的,对于最简单的非负约束,我们可以改为如下格式更新:
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t \odot \exp\left(- \eta\nabla_{\boldsymbol{\theta}}\mathcal{L}(\boldsymbol{\theta}_t)\right)\label{eq:egd}\end{equation}
这里的$\odot$是逐位对应相乘(Hadamard积)。容易看到,只要初始化的$\boldsymbol{\theta}_0$是非负的,那么在整个更新过程中$\boldsymbol{\theta}_t$都会保持非负,这就是用于非负约束优化的“指数梯度下降”。

点击阅读全文...

16 Aug

微积分学习(一):极限

本文不是微积分教程,而是发表自己学习中的一些看法,以及与同好们讨论相关问题。

拿起任何一本“微积分”教程,都可以看见那专业而严格的数学语言,因此很多人望而生畏。的确,由于牛顿和莱布尼茨创立的微积分是不严格的,因此引发了第二次数学危机。经过法国数学家柯西和德国数学家魏尔斯特拉斯的努力,使得微积分有了前所未有的严密化,克服了第二次数学危机。加之后来的第三次数学危机,数学就更加严密了。

但是对于初学者,严密化的微积分令人十分费解。因此,我们不妨按照微积分的创立顺序,即“不严密——严密”的顺序来学习。这样不仅能够让我们更高效率地学习,而且增加学习数学的兴趣。

点击阅读全文...

1 Oct

【NASA每日一图】春分时刻的土星

图片说明:春分点的土星,版权:Cassini Imaging Team, ISS, JPL, ESA, NASA

图片说明:春分点的土星,版权:Cassini Imaging Team, ISS, JPL, ESA, NASA

点击阅读全文...

7 Oct

两男一女分享2009年诺贝尔化学奖

中新网10月7日电 据诺贝尔奖官方网站报道,2009年度诺贝尔化学奖刚刚揭晓,英国科学家万卡特拉曼-拉马克里希南(Venkatraman Ramakrishnan)、美国科学家托马斯-施泰茨(Thomas A. Steitz)和以色列科学家阿达-尤纳斯(Ada E. Yonath)因在核糖体的结构和功能研究中做出突出贡献而获得该奖项。

2009年诺贝尔化学奖获得者:万卡特拉曼-莱马克里斯南、托马斯-施泰茨和阿达-尤纳斯(从左至右)

2009年诺贝尔化学奖获得者:万卡特拉曼-莱马克里斯南、托马斯-施泰茨和阿达-尤纳斯(从左至右)

点击阅读全文...

14 Nov

科学空间相册上线,与你分享科学图片

科学空间相册平台正式上线,网址为:
http://album.spaces.ac.cn/

科学空间相册截图

科学空间相册截图

点击阅读全文...

23 Jan

《积分公式大全》电子书

注:2019.02.13 由科学空间苏剑林(https://kexue.fm)更新,修正公式76,并简化latex。

物理、天文研究得深入了,微积分的应用自然也就多了(其实很多内容都用到微积分)。所以弄出一个几何或者力学问题,随手就列出一道积分或者微分方程,这时求解是最重要的。对于我来说,求导数可以娓娓道来,轻松而得;而积分则比较困难(这与个人的技巧有关,更重要的是事实:导数几乎有通用的公式,而积分只能“凑”出来)。

因此,很多积分干脆依靠现成的公式,懒得去推导了。然后,并非随时随地都有《数学分析》在手的,对计算机数学软件的实用又不大熟悉,这时候只能够求助这一本《积分表》了。只要不是故意去钻那些竞赛级别的数学难题,这已经足够应付物理等方面的应用了。

这时候就这也不用愁到处找$\int \sqrt{a^2-x^2}dx$的结果了。

点击阅读全文...

21 Jul

中国队2010年再获IMO团体总分第一

IMO,International Mathematical Olympiad,国际数学奥品匹克竞赛,是中学数学最高水平的国际比赛,由东欧国家发起。是为全球高中学生举办的世界最高水平的数学赛事。BoJone对它很感兴趣,不过它过于注重纯数学,应用数学少,致使BoJone不愿意放太多精力下去,因为我始终对具有明显的实际应用意义的数学和物理更感兴趣。

2010_imo_news_1

2010_imo_news_1

2010年7月2-14日在哈萨克斯坦共和国首都阿斯塔纳举行的第51届国际数学奥林匹克竞赛中,中国队6名参赛选手全部获得金牌,其中来自上海的Nie Zipei同学以本届惟一一个取得满分42分的成绩,而荣获绝对冠军,另外,Jialun Li为36分、Yikang Xiao为34分、Min Zhang为30分、Li Lai 为28分、Su Jun 为27分;中国队以总分197分(满分252),连续三年获得团体总分第一名(2007年获得亚军);中国队自1985年以来参赛25次,共获得过16次冠军;1998年未参加在台湾举行的比赛。本届比赛,俄罗斯队以169分获得亚军,美国队以一分之差屈居季军。

点击阅读全文...

6 Oct

2010年诺贝尔化学奖出炉,美日科学家分享

2010年诺贝尔化学奖

2010年诺贝尔化学奖

瑞典皇家科学院6日宣布,因其在有机合成领域中钯催化交叉偶联反应方面进行的卓越研究,将2010年诺贝尔化学奖授予来自美国特拉华大学的海克(Richard F. Heck)、普渡大学的根岸英一(Ei-ichi Negishi),以及日本北海道大学的铃木章(Akira Suzuki)。

点击阅读全文...