29
Apr
从对称角度看代数方程
By 苏剑林 | 2011-04-29 | 25846位读者 | 引用
大马国油双峰塔
这些日子来，BoJone迷上了两个东西：最小作用量和对称。这两个“东西”在物理学中几乎占据着最重要的地位，前边已经说过，通过最小作用量原理能够构建起当代整个物理学的框架，体现着自然界的“经济头脑”；后者则是守恒的体现，也对应着自然界的“美感”。本文主要是从最简单的层面谈谈对称。
对称的东西很重要，很美。当然，这里所指的是数学上的对称。数学上有很多问题都可以列出对称的式子，而且由于其对称性，因此求解过程一般比不对称的式子简单不少。据说，当代最前沿的物理学框架都是用群论描述的（包括广义相对论），而群论正是用来研究对称的有力工具，可见，对称和对称的方法在实际中有着广泛的应用。（当然本文不讨论群论，关键是BoJone也不懂群论...^_^）
我们先来看二次方程，根据韦达定理，二次方程都可以表达成下面的形式：
$$\begin{aligned}x_1+x_2=a \\ x_1 x_2=b\end{aligned}$$
这是一个多对称的形式！这里的对称体现在将$x_1,x_2$互相替换后方程形式依然不变。如果我们设$x_1=y_1+y_2,x_2=y_1-y_2$，就可以变成
$$2y_1=a,y_1^2-y_2^2=b$$
这样很快就求出$y_1,y_2$了，继而能够求出方程的两个根。
27
Nov
从变分编码、信息瓶颈到正态分布：论遗忘的重要性
By 苏剑林 | 2018-11-27 | 154606位读者 | 引用这是一篇“散文”，我们来谈一下有着千丝万缕联系的三个东西：变分自编码器、信息瓶颈、正态分布。
众所周知，变分自编码器是一个很经典的生成模型，但实际上它有着超越生成模型的含义；而对于信息瓶颈，大家也许相对陌生一些，然而事实上信息瓶颈在去年也热闹了一阵子；至于正态分布，那就不用说了，它几乎跟所有机器学习领域都有或多或少的联系。
那么，当它们三个碰撞在一块时，又有什么样的故事可说呢？它们跟“遗忘”又有什么关系呢？
变分自编码器
在本博客你可以搜索到若干几篇介绍VAE的文章。下面简单回顾一下。
理论形式回顾
简单来说，VAE的优化目标是：
\begin{equation}KL(\tilde{p}(x)p(z|x)\Vert q(z)q(x|z))=\iint \tilde{p}(x)p(z|x)\log \frac{\tilde{p}(x)p(z|x)}{q(x|z)q(z)} dzdx\end{equation}
其中$q(z)$是标准正态分布，$p(z|x),q(x|z)$是条件正态分布，分别对应编码器、解码器。具体细节可以参考《变分自编码器（二）：从贝叶斯观点出发》。
14
Jan
【搜出来的文本】⋅（二）从MCMC到模拟退火
By 苏剑林 | 2021-01-14 | 49745位读者 | 引用在上一篇文章中，我们介绍了“受限文本生成”这个概念，指出可以通过量化目标并从中采样的方式来无监督地完成某些带条件的文本生成任务。同时，上一篇文章还介绍了“重要性采样”和“拒绝采样”两个方法，并且指出对于高维空间而言，它们所依赖的易于采样的分布往往难以设计，导致它们难以满足我们的采样需求。
此时，我们就需要引入采样界最重要的算法之一“Markov Chain Monte Carlo（MCMC）”方法了，它将马尔可夫链和蒙特卡洛方法结合起来，使得（至少理论上是这样）我们从很多高维分布中进行采样成为可能，也是后面我们介绍的受限文本生成应用的重要基础算法之一。本文试图对它做一个基本的介绍。
马尔可夫链
马尔可夫链实际上就是一种“无记忆”的随机游走过程，它以转移概率$p(\boldsymbol{y}\leftarrow\boldsymbol{x})$为基础，从一个初始状态$\boldsymbol{x}_0$出发，每一步均通过该转移概率随机选择下一个状态，从而构成随机状态列$\boldsymbol{x}_0, \boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_t, \cdots $，我们希望考察对于足够大的步数$t$，$\boldsymbol{x}_t$所服从的分布，也就是该马尔可夫链的“平稳分布”。
26
Jun
费曼积分法——积分符号内取微分(4)
By 苏剑林 | 2012-06-26 | 72075位读者 | 引用趁着早上有空，就赶紧把这篇文章写好吧。下午高考成绩要公布了，公布后也许又会有一段时间忙碌了。这应该是“费曼积分法”系列最后一篇文章了。它主要讲的还是费曼积分法的一个实例。不同的是，这是BoJone首次独立地用费曼积分法解决了一个问题。之前提到的一些例子，都是书本提供并结合了提示，BoJone才把它们算出来的。所以这个问题有着点点纪念意义。
数学研发论坛上wayne曾求证这样的命题：
$\int_0^{\infty}\frac{f(x,2m-1)-\sin x}{x^{2m+1}}dx$其中，f(x,2m-1)表示sinx的2m-1阶泰勒展开
如m=1时，
$$\int_0^{\infty}\frac{x-\sin x}{x^3}dx$$
m=2时
$$\int_0^{\infty}\frac{x-\frac{x^3}{6}-\sin x}{x^5}dx$$
借助软件我发现结果是：
$\frac{\pi(-1)^{m-1}}{2(2m)!}$
24
Mar
费曼积分法(5)：欧拉数学的传承
By 苏剑林 | 2013-03-24 | 22907位读者 | 引用在大学第二学期，我们的《数学分析》终于龟速地爬行到了定积分这一章节。对于一些比较复杂的定积分，我总想用自己的方法来解决它，这就重新燃起了我对“费曼积分法——积分符号内取微分”的热情。尤其是我用费曼积分法解决了几道比较有趣复杂的定积分问题时，成就感高涨，遂在此总结，与大家共勉。
这和欧拉数学有什么关系呢？之前已经提到过，欧拉数学是用一种不严谨却极具创造性的方式，给予我们对数学的介乎感性和理性的直观理解。我觉得费曼积分法也属于这个范畴内，它着眼于用一种特殊的视角解决问题，而暂时忽略掉数学严密性。在读费曼的故事中，我感觉到这种思想是贯穿他一生的研究之中的。
本文继续对费曼积分法的研究，得出一些不是很严谨的结论，为以后的应用奠下基础。
一、不成立的函数
首先我们重新考虑$\int_0^{\infty} \frac{\sin x}{x}dx$。这一次我们将它引入复数范畴内，考虑：
$$\int_0^{\infty}\frac{\cos x+i \sin x}{x}dx=\int_0^{\infty}\frac{e^{ix}}{x}dx$$
27
Mar
费曼积分法(7)：欧拉数学的综合
By 苏剑林 | 2013-03-27 | 35214位读者 | 引用传说费曼讲课很精彩，但他是上个世纪的人，所以也就没有多少视频保留下来。但是网上还是存有一些，有兴趣的读者可以收藏。
费曼讲座——光、电子、路径积分（无字幕）
http://v.youku.com/v_show/id_XNjAyMzU4ODg=.html
http://v.youku.com/v_show/id_XNjAyMzQ4NzI=.html
http://v.youku.com/v_show/id_XNTQzMTEyNTA4.html
28
Dec
最近评论