2
May
寻求一个光滑的最大值函数
By 苏剑林 | 2015-05-02 | 117941位读者 | 引用在最优化问题中，求一个函数的最大值或最小值，最直接的方法是求导，然后比较各阶极值的大小。然而，我们所要优化的函数往往不一定可导，比如函数中含有最大值函数$\max(x,y)$的。这时候就得求助于其他思路了。有一个很巧妙的思路是，将这些不可导函数用一个可导的函数来近似它，从而我们用求极值的方法来求出它近似的最优值。本文的任务，就是探究一个简单而有用的函数，它能够作为最大值函数的近似，并且具有多阶导数。下面是笔者给出的一个推导过程。
在数学分析中，笔者已经学习过一个关于最大值函数的公式，即当$x \geq 0, y \geq 0$时，我们有
$$\max(x,y)=\frac{1}{2}\left(|x+y|+|x-y|\right)\tag{1}$$
那么，为了寻求一个最大值的函数，我们首先可以考虑寻找一个能够近似表示绝对值$|x|$的函数，这样我们就把问题从二维降低到一维了。那么，哪个函数可以使用呢？
22
Oct
RSGAN：对抗模型中的“图灵测试”思想
By 苏剑林 | 2018-10-22 | 119559位读者 | 引用这两天无意间发现一个非常有意义的工作，称为“相对GAN”，简称RSGAN，来自文章《The relativistic discriminator: a key element missing from standard GAN》，据说该文章还得到了GAN创始人Goodfellow的点赞。这篇文章提出了用相对的判别器来取代标准GAN原有的判别器，使得生成器的收敛更为迅速，训练更为稳定。
可惜的是，这篇文章仅仅从训练和实验角度对结果进行了论述，并没有进行更深入的分析，以至于不少人觉得这只是GAN训练的一个trick。但是在笔者来看，RSGAN具有更为深刻的含义，甚至可以看成它已经开创了一个新的GAN流派。所以，笔者决定对RSGAN模型及其背后的内涵做一个基本的介绍。不过需要指出的是，除了结果一样之外，本文的介绍过程跟原论文相比几乎没有重合之处。
“图灵测试”思想
SGAN
SGAN就是标准的GAN（Standard GAN）。就算没有做过GAN研究的读者，相信也从各种渠道了解到GAN的大概原理：“造假者”不断地进行造假，试图愚弄“鉴别者”；“鉴别者”不断提高鉴别技术，以分辨出真品和赝品。两者相互竞争，共同进步，直到“鉴别者”无法分辨出真、赝品了，“造假者”就功成身退了。
在建模时，通过交替训练实现这个过程：固定生成器，训练一个判别器（二分类模型），将真实样本输出1，将伪造样本输出0；然后固定判别器，训练生成器让伪造样本尽可能输出1，后面这一步不需要真实样本参与。
问题所在
然而，这个建模过程似乎对判别器的要求过于苛刻了，因为判别器是孤立运作的：训练生成器时，真实样本没有参与，所以判别器必须把关于真实样本的所有属性记住，这样才能指导生成器生成更真实的样本。
8
Jul
两个多元正态分布的KL散度、巴氏距离和W距离
By 苏剑林 | 2021-07-08 | 93259位读者 | 引用正态分布是最常见的连续型概率分布之一。它是给定均值和协方差后的最大熵分布（参考《“熵”不起：从熵、最大熵原理到最大熵模型（二）》），也可以看作任意连续型分布的二阶近似，它的地位就相当于一般函数的线性近似。从这个角度来看，正态分布算得上是最简单的连续型分布了。也正因为简单，所以对于很多估计量来说，它都能写出解析解来。
本文主要来计算两个多元正态分布的几种度量，包括KL散度、巴氏距离和W距离，它们都有显式解析解。
正态分布
这里简单回顾一下正态分布的一些基础知识。注意，仅仅是回顾，这还不足以作为正态分布的入门教程。
概率密度
正态分布，也即高斯分布，是定义在$\mathbb{R}^n$上的连续型概率分布，其概率密度函数为
\begin{equation}p(\boldsymbol{x})=\frac{1}{\sqrt{(2\pi)^n \det(\boldsymbol{\Sigma})}}\exp\left\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\top}\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right\}\end{equation}
18
Aug
世界各国能否联手应对气候变化？
By 苏剑林 | 2009-08-18 | 23453位读者 | 引用
13
Oct
两名美国经济学家同获2009年诺贝尔经济学奖
By 苏剑林 | 2009-10-13 | 16160位读者 | 引用
14
Oct
绿色和平：工厂排污36计
By 苏剑林 | 2009-10-14 | 22526位读者 | 引用
文章转载于：http://gerry.lamost.org/blog/?p=417
logo_iya2009
去年是国际天文年，在翻译官方宣传手册之外，还在朋友们的鼓励下给《天文爱好者》写了一年的连载，介绍著名星表。编辑李鉴给这个系列起了个很棒的名字：“群星的族谱”。前后四五百年，二十多代天文学家，上千个星表，在新线索的串联下，发展脉络清晰可见。我常常因为灵光乍现激动得匆匆提笔，却在下笔的一刻冒出更多的问题……在积累有限之外，自己的笔力也还不足以驾驭这样宏大的题材，就当成框架索引来看好了。虽然遗憾种种，但总算是完成了
一个心愿。这里是这个系列的番外篇，介绍星表数据库，发表在2010年1月的爱好者杂志上。
讲星表，就不能不提到法国斯特拉斯堡天文数据中心（Strasbourg Astronomical Data Center），这个始建于1972年的数据中心汇集了有文献记载的近万个星表，提供了详尽的查询方式，是天文学家获取数据的首选。而它的身世却少有人知……
27
Feb
丘成桐摘得沃尔夫奖——获数学界终身成就肯定
By 苏剑林 | 2010-02-27 | 24807位读者 | 引用
丘成桐 司徒哲阳摄
1月31日晚，华裔数学家丘成桐收到以色列教育部部长兼沃尔夫基金会理事长Gideon Sa’ar亲笔签名的信，通知他获得了2010年的沃尔夫数学奖，原因是他“在几何分析方面的贡献已对几何和物理的许多领域产生深远而引人瞩目的影响”。
1978年开始颁发的沃尔夫奖每年评选一次，分别奖励在农业、化学、数学、医药、物理以及艺术领域中取得突出成绩的人士。其中沃尔夫数学奖影响很大。
今年的颁奖典礼定于5月13日在耶路撒冷举行，丘成桐将与美国数学家丹尼斯·沙利文分享10万美元的数学奖奖金。这是丘成桐继菲尔茨奖后，再次获得国际最顶尖的数学大奖。菲尔茨奖和沃尔夫奖双奖得主，迄今只有13位。
最近评论