科学空间|Scientific Spaces

前几天刚结束的云浮高二期末考数学试卷中，有一道题目让我比较深刻。因为在当时我无法去证明它，只是用了举例子的方法得出了答案。刚才思考了一下，在此给出证明过程。题目如下：

定义在(0,+∞)的函数f(x)满足$x f'(x) \leq f(x)$，对于任意的0 < a < b，比较$a f(b)$和$b f(a)$的大小。

点击阅读全文...

Astronomy Calendar of Celestial Events
2012年全年天象

点击打开：http://kexue.fm/AC.html

翻译自NASA：http://eclipse.gsfc.nasa.gov/SKYCAL/SKYCAL.html

（北京时间）

点击阅读全文...

模板来自：http://liam0205.me/2013/08/25/LaTeX-xcumcmart/

源网站的某些附件出现了不可访问的情况，因此保险起见，在这里备份一下，也供同样参加数学建模的朋友下载。感谢liam0205的站长制作该模板。

原网站介绍：

点击阅读全文...

这篇文章很简短，主要描述的是一个很有用、也不复杂、但是我居然这么久才发现的事实～

在《深度学习的互信息：无监督提取特征》一文中，我们通过先验分布和最大化互信息两个loss的加权组合来得到Deep INFOMAX模型最后的loss。在那篇文章中，虽然把故事讲完了，但是某种意义上来说，那只是个拼凑的loss。而本文则要证明那个loss可以由变分自编码器自然地导出来。

过程

不厌其烦地重复一下，变分自编码器（VAE）需要优化的loss是
\begin{equation}\begin{aligned}&KL(\tilde{p}(x)p(z|x)\Vert q(z)q(x|z))\\
=&\iint \tilde{p}(x)p(z|x)\log \frac{\tilde{p}(x)p(z|x)}{q(x|z)q(z)} dzdx\end{aligned}\end{equation}
相关的论述在本博客已经出现多次了。VAE中既包含编码器，又包含解码器，如果我们只需要编码特征，那么再训练一个解码器就显得很累赘了。所以重点是怎么将解码器去掉。

其实再简单不过了，把VAE的loss分开两部分

点击阅读全文...

在分析模型的参数时，有些情况下我们会将模型的所有参数当成一个整体的向量，有些情况下我们则会将不同的参数拆开来看。比如，一个7B大小的LLAMA模型所拥有的70亿参数量，有时候我们会将它当成“一个70亿维的向量”，有时候我们会按照模型的实现方式将它看成“数百个不同维度的向量”，最极端的情况下，我们也会将它看成是“七十亿个1维向量”。既然有不同的看待方式，那么当我们要算一些统计指标时，也就会有不同的计算方式，即局部计算和全局计算，这引出了局部计算的指标与全局计算的指标有何关联的问题。

本文我们关心两个向量的余弦相似度。如果两个大向量的维度被拆成了若干组，同一组对应的子向量余弦相似度都很大，那么两个大向量的余弦相似度是否一定就大呢？答案是否定的。特别地，这还跟著名的“辛普森悖论”有关。

问题背景

这个问题源于笔者对优化器的参数增量导致的损失函数变化量的分析。具体来说，假设优化器的更新规则是：
\begin{equation}\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta_t \boldsymbol{u}_t\end{equation}

点击阅读全文...

经过几天的努力，网站终于改版好了...
很抱歉，我又再次违背了我的话：我把网站程序从BoBlog转到了PJBlog。

其实，这次改版的主要原因有几个：
1.原来的“宇宙驿站”空间太慢（也许是我个人的感觉），而且不支持ASP；
2.转换到PJBlog是因为它的界面清晰，更加吸引人，阅读感较强；
3.....

点击阅读全文...

eyes_on_the_skies

《巨眼问苍穹》是国际天文学联合会推出的庆祝望远镜400周年的书籍和电影，也是2009年美狄亚评委会特别奖获奖片

这部影片具有多个名称，其中中文名译为《巨眼问苍穹》、《望远镜的400年》或者《400年的故事-望远镜》等，英文名为《400 Years Of Telescope》，但也发现名为《Eyes On The Skies》的称呼。也不知道哪个更准确一点，不管他了，内容实质是一样的。片长60分钟，有英文、德文和中文配音，并有33种语言的字幕。目前已有30万个DVD免费分发到科学中心、天文馆、天文爱好者俱乐部的教育机构。该书132页，有英文，德文，芬兰文，韩文、日文和中文等多种语言（书籍站长还没有看过，影片就看了一下）。

点击阅读全文...

我要上学了

越来越佩服前人，说出了“光阴似箭，日月如梭”的真理。是呀，期末考试仿佛只是在昨天，今天已经又要上学了；俯仰之间，一个月的时间就过去了。

毫无疑问，又因为我的懒惰和不坚持，浪费了我很多的时间。回想一下寒假，我究竟收获了什么呢？主要是两个方面吧：学术和情感。

学术上，主要是数学和天文学里面的内容。数学我主要是深入了微积分方面的内容，把微积分的思想深刻了一点点，把微分方程（组）熟悉了一点点。我有一种很熟悉的感觉：现在自学高等数学，就好比我之前在小学时间学习中学数学。那时候超傻，书本上说了$\lim_{\Delta x->0} f'(x)=\frac{f(x+\Delta x)-f(x)}{\Delta x}$，我看不懂这个式子，整天郁闷$f(x)$是不是指$f\cdot (x)$。不过尽管那时候不懂这些，还是懂应用，我用导数最基本的定义去求极值，得出了一些有趣的发现，使我的兴趣倍增。现在学习微积分也是这样的感觉，我觉得我仅仅是很显浅地接触到，还有很多等待仔细琢磨....

点击阅读全文...