31
Jan
【NASA每日一图】神秘的Voynich(伏尼契)手稿
By 苏剑林 | 2010-01-31 | 30948位读者 | 引用
30
Jan
【NASA每日一图】Messier 88
By 苏剑林 | 2010-01-30 | 21082位读者 | 引用
1
Feb
【NASA每日一图】牧羊卫星Prometheus
By 苏剑林 | 2010-02-01 | 35519位读者 | 引用
5
Feb
【NASA每日一图】火星上的沙尘暴
By 苏剑林 | 2010-02-05 | 18400位读者 | 引用
9
Feb
【NASA每日一图】夜晚发射的“奋进号”
By 苏剑林 | 2010-02-09 | 19264位读者 | 引用
6
May
变分自编码器（五）：VAE + BN = 更好的VAE
By 苏剑林 | 2020-05-06 | 222273位读者 | 引用本文我们继续之前的变分自编码器系列，分析一下如何防止NLP中的VAE模型出现“KL散度消失（KL Vanishing）”现象。本文受到参考文献是ACL 2020的论文《A Batch Normalized Inference Network Keeps the KL Vanishing Away》的启发，并自行做了进一步的完善。
值得一提的是，本文最后得到的方案还是颇为简洁的——只需往编码输出加入BN（Batch Normalization），然后加个简单的scale——但确实很有效，因此值得正在研究相关问题的读者一试。同时，相关结论也适用于一般的VAE模型（包括CV的），如果按照笔者的看法，它甚至可以作为VAE模型的“标配”。
最后，要提醒读者这算是一篇VAE的进阶论文，所以请读者对VAE有一定了解后再来阅读本文。
VAE简单回顾
这里我们简单回顾一下VAE模型，并且讨论一下VAE在NLP中所遇到的困难。关于VAE的更详细介绍，请读者参考笔者的旧作《变分自编码器（一）：原来是这么一回事》、《变分自编码器（二）：从贝叶斯观点出发》等。
VAE的训练流程
VAE的训练流程大概可以图示为
VAE训练流程图示
13
Feb
Designing GANs：又一个GAN生产车间
By 苏剑林 | 2020-02-13 | 35929位读者 | 引用在2018年的文章里《f-GAN简介：GAN模型的生产车间》笔者介绍了f-GAN，并评价其为GAN模型的“生产车间”，顾名思义，这是指它能按照固定的流程构造出很多不同形式的GAN模型来。前几天在arxiv上看到了新出的一篇论文《Designing GANs: A Likelihood Ratio Approach》（后面简称Designing GANs或原论文），发现它在做跟f-GAN同样的事情，但走的是一条截然不同的路（不过最后其实是殊途同归），整篇论文颇有意思，遂在此分享一番。
f-GAN回顾
从《f-GAN简介：GAN模型的生产车间》中我们可以知道，f-GAN的首要步骤是找到满足如下条件的函数$f$：
1、$f$是非负实数到实数的映射（$\mathbb{R}^* \to \mathbb{R}$）；
2、$f(1)=0$；
3、$f$是凸函数。
23
Jan
最近评论