10
May
能量视角下的GAN模型（三）：生成模型=能量模型
By 苏剑林 | 2019-05-10 | 43620位读者 | 引用
本文的模型在ImageNet(128x128)上的条件生成效果
今天要介绍的结果还是跟能量模型相关，来自论文《Implicit Generation and Generalization in Energy-Based Models》。当然，它已经跟GAN没有什么关系了，但是跟本系列第二篇所介绍的能量模型关系较大，所以还是把它放到这个系列好了。
我当初留意到这篇论文，是因为机器之心的报导《MIT本科学神重启基于能量的生成模型，新框架堪比GAN》，但是说实在的，这篇文章没什么意思，说句不中听的，就是炒冷饭系列，媒体的标题也算中肯，是“重启”。这篇文章就是指出能量模型实际上就是某个特定的Langevin方程的静态解，然后就用这个Langevin方程来实现采样，有了采样过程也就可以完成能量模型的训练，这些理论都是现成的，所以这个过程我在学习随机微分方程的时候都想过，我相信很多人也都想过。因此，我觉得作者的贡献就是把这个直白的想法通过一系列炼丹技巧实现了。
但不管怎样，能训练出来也是一件很不错的事情，另外对于之前没了解过相关内容的读者来说，这确实也算是一个不错的能量模型案例，所以我论文的整体思路整理一下，让读者能够更全面地理解能量模型。
15
Feb
能量视角下的GAN模型（二）：GAN＝“分析”＋“采样”
By 苏剑林 | 2019-02-15 | 104554位读者 | 引用在这个系列中，我们尝试从能量的视角理解GAN。我们会发现这个视角如此美妙和直观，甚至让人拍案叫绝。
上一篇文章里，我们给出了一个直白而用力的能量图景，这个图景可以让我们轻松理解GAN的很多内容，换句话说，通俗的解释已经能让我们完成大部分的理解了，并且把最终的结论都已经写了出来。在这篇文章中，我们继续从能量的视角理解GAN，这一次，我们争取把前面简单直白的描述，用相对严密的数学语言推导一遍。
跟第一篇文章一样，对于笔者来说，这个推导过程依然直接受启发于Bengio团队的新作《Maximum Entropy Generators for Energy-Based Models》。
原作者的开源实现：https://github.com/ritheshkumar95/energy_based_generative_models
本文的大致内容如下：
1、推导了能量分布下的正负相对抗的更新公式；
2、比较了理论分析与实验采样的区别，而将两者结合便得到了GAN框架；
3、导出了生成器的补充loss，理论上可以防止mode collapse；
4、简单提及了基于能量函数的MCMC采样。
30
Jan
能量视角下的GAN模型（一）：GAN＝“挖坑”＋“跳坑”
By 苏剑林 | 2019-01-30 | 73104位读者 | 引用
“看那挖坑的人，有啥不一样～”
在这个系列中，我们尝试从能量的视角理解GAN。我们会发现这个视角如此美妙和直观，甚至让人拍案叫绝。
本视角直接受启发于Benjio团队的新作《Maximum Entropy Generators for Energy-Based Models》，这篇文章前几天出现在arxiv上。当然，能量模型与GAN的联系由来已久，并不是这篇文章的独创，只不过这篇文章做得仔细和完善一些。另外本文还补充了自己的一些理解和思考上去，力求更为易懂和完整。
作为第一篇文章，我们先来给出一个直白的类比推导：GAN实际上就是一场前仆后继（前挖后跳？）的“挖坑”与“跳坑”之旅～
总的来说，本文的大致内容如下：
1、给出了GAN/WGAN的清晰直观的能量图像；
2、讨论了判别器（能量函数）的训练情况和策略；
3、指出了梯度惩罚一个非常漂亮而直观的能量解释；
4、讨论了GAN中优化器的选择问题。
在讨论了倒立单摆的相关分析之后，胡雄大哥（笔者的一位好友）提出了一个问题：一根均匀杆，当然质量不可忽略，只有一个力（简单起见，可以先假设为恒力）作用在其中一个点上（简单起见，可以假设为端点），那么杆是怎么运动的？
其实笔者学了不少的经典力学，也分析了不少问题，但就是对于力矩、角动量等还是模模糊糊的，对于我来说，大多数经典力学问题就是“作用量+变分”，本题也不例外。为了让题目的实验意义更加明确，不妨将题目改成：
一根中性的均匀杆，它的一个端点带有一个点电荷，那么它（仅仅）在一个均匀电场中的运动是怎样的？
在这里，我们进一步简化，只考虑平面问题。杆属于刚体，为了描述杆的运动，我们需要描述杆上一点的运动，以及杆绕这一点的转动，也就是说，即使只考虑平面的情况，该系统也是有三个自由度的。设杆的带电荷那一端点的坐标为$(x,y)$，为了描述杆的转动，以这一端点为中心建立极坐标系，设杆的极角为$\theta$。设电势的函数为$U(x,y)$，因为只有一点带电（受力），因此势能是简单的。
22
Jul
《虚拟的实在(4)》——质量是什么
By 苏剑林 | 2013-07-22 | 48418位读者 | 引用笔者很少会谈到定义性的东西，原因很简单，因为我也不见得会比大家清楚，或者说也未必比大家所知道的准确。不过，刚刚与同好讨论过与质量相关的问题，就跟大家分享一下。
最初的问题是能量能不能转化为物质，我觉得根据$E=mc^2$，是显然可以的，例子嘛，我首先想到在量子场论中的真空是会不断产生和湮灭正负电子对的，因此这可以作为一个证据。但是这个感觉上太遥远了，所以我在互联网搜索了一下，不过搜到的内容大同小异：
当辐射光子能量足够高时，在它从原子核旁边经过时，在核库仑场作用下，辐射光子可能转化成一个正电子和一个负电子，这种过程称作电子对效应。
（正负电子对效应）
最近评论