科学空间|Scientific Spaces

黄果树大瀑布

光学定律无疑是一个美妙的原理，而自然界中还存在另外一个我们随处可见的“公理”。平时的生活中，我们总能看见“水往低处流”的现象，这是因为水处于地球重力场的结果（也正因为如此，某些轻生者的自杀活动才得以顺利进行；当然，我们并不需要为了验证这一点而亲自试验。）。由此我们可以联想到一个名词：重力势能。“水往低处流”意味着什么呢？高度变低了。高度更低意味着什么呢？重力势能降低了！换句话说，自然界中物体有趋于势能最低的倾向。我们可以从这个角度来解释：体系总有趋于稳定的倾向，而拥有的能量（势能）越高，则越不稳定。

点击阅读全文...

如果说前面关于这个系列的内容还不能使得读者您感到痛快，那么接下来要讲述的最速降线和悬链线问题也许能够满足你的需要。不过在进入对最速降线问题的理论探讨之前，我们先来讲述一个发生在17世纪的激动人心的数学竞赛的故事。我相信，每一个热爱数学和物理的朋友，都将会为其所振奋，为其所感动。里边渗透的，不仅仅是一次学术的竞争，更是一代又一代的人对真理的追求与探路的不懈精神。

（以下内容来源于网络，科学空间整理）

意大利科学家伽利略在1630年提出一个分析学的基本问题── “一个质点在重力作用下，从一个给定点A到不在它垂直下方的另一点B，如果不计摩擦力，问沿着什么曲线滑下所需时间最短。”这算是这个著名问题的起源了（为什么别人没有想起这个问题呢？所以说大科学家的素质就是思考、创新，要有思想，人没有思想，就和行尸走肉没有什么区别）。可惜的是伽利略说这曲线是圆，但这却是一个错误的答案。

Brachistochrone

点击阅读全文...

约翰与他同时代的110位学者有通信联系，进行学术讨论的信件约有2500封，其中许多已成为珍贵的科学史文献，例如同他的哥哥雅各布以及莱布尼茨、惠更斯等人关于悬链线、最速降线（即旋轮线）和等周问题的通信讨论，虽然相互争论不断，特别是约翰和雅各布互相指责过于尖刻，使兄弟之间时常造成不快，但争论无疑会促进科学的发展，最速降线问题就导致了变分法的诞生。

有意思的是,1690年约翰·伯努利的哥哥雅可比·伯努利曾提出过悬链线问题向数学界征求答案。即：

固定项链的两端，在重力场中让它自然垂下，求项链的曲线方程.

吊桥上方的悬垂钢索，挂着水珠的蜘蛛网，电杆间的电线都是悬链线。伽利略最早注意到悬链线，猜测悬链线是抛物线。1691年莱布尼兹、惠更斯以及约翰·伯努利各自得到正确答案，所用方法是诞生不久的微积分。

点击阅读全文...

前言：这个暑假花了不少时间在中文分词和语言模型上面，碰了无数次壁，也得到了零星收获。打算写一个专题，分享一下心得体会。虽说是专题，但仅仅是一些笔记式的集合，并非系统的教程，请读者见谅。

中文分词

关于中文分词的介绍和重要性，我就不多说了，matrix67这里有一篇关于分词和分词算法很清晰的介绍，值得一读。在文本挖掘中，虽然已经有不少文章探索了不分词的处理方法，如本博客的《文本情感分类（三）：分词 OR 不分词》，但在一般场合都会将分词作为文本挖掘的第一步，因此，一个有效的分词算法是很重要的。当然，中文分词作为第一步，已经被探索很久了，目前做的很多工作，都是总结性质的，最多是微弱的改进，并不会有很大的变化了。

目前中文分词主要有两种思路：查词典和字标注。首先，查词典的方法有：机械的最大匹配法、最少词数法，以及基于有向无环图的最大概率组合，还有基于语言模型的最大概率组合，等等。查词典的方法简单高效（得益于动态规划的思想），尤其是结合了语言模型的最大概率法，能够很好地解决歧义问题，但对于中文分词一大难度——未登录词（中文分词有两大难度：歧义和未登录词），则无法解决；为此，人们也提出了基于字标注的思路，所谓字标注，就是通过几个标记（比如4标注的是：single，单字成词；begin，多字词的开头；middle，三字以上词语的中间部分；end，多字词的结尾），把句子的正确分词法表示出来。这是一个序列（输入句子）到序列（标记序列）的过程，能够较好地解决未登录词的问题，但速度较慢，而且对于已经有了完备词典的场景下，字标注的分词效果可能也不如查词典方法。总之，各有优缺点（似乎是废话～），实际使用可能会结合两者，像结巴分词，用的是有向无环图的最大概率组合，而对于连续的单字，则使用字标注的HMM模型来识别。

点击阅读全文...

习题解答继续艰难推进中，目前是0.5版本，相比0.4版，跳过了8、9章，先做了第10、11章统计力学部分的习题。

第10章有10道习题，第11章其实没有习题。看上去很少，但其实每一道习题的难度都很大。这两章的主要内容都是在用路径积分方法算统计力学中的配分函数，这本来就是一个很艰辛的课题。加上费曼在书中那形象的描述，容易让读者能够认识到大概，但是却很难算下去。事实上，这一章的习题，我参考了相当多的资料，中文的、英文的都有，才勉强完成了。

虽说是完成，但10道题目中，我只完成了9道，其中问题10-3是有困惑的，我感觉的结果跟费曼给出的不一样，因此就算不下去了。在这里提出来，希望了解的读者赐教。

点击阅读全文...

我们在上一篇文章中已经看到，随机游走的概率分布是正态的，而在概率论中可以了解到正态分布（几乎）是最重要的一种分布了。随机游走模型和正态分布的应用都很广，我们或许可以思考一个问题，究竟是随机游走造就了正态分布，还是正态分布造就了随机游走？换句话说，哪个更本质些？个人就自己目前所阅读到的内容来看，随机游走更本质些，随机游走正好对应着普遍存在的随机不确定性（比如每次测量的误差），它的分布正好就是正态分布，所以正态分布才应用得如此广泛——因为随机不确定性无处不在。

下面我们来考虑随机游走的另外一种描述方式，原则上来说，它更广泛，更深刻，其大名曰“路径积分”。

点击阅读全文...

泊松分布，适合于描述单位时间内随机事件发生的次数的概率分布，如某一服务设施在一定时间内受到的服务请求的次数、汽车站台的候客人数等。^{[维基百科]}泊松分布也可以作为小概率的二项分布的近似，其推导过程在一般的概率论教材都会讲到。可是一般教材上给出的证明并不是那么让人赏心悦目，如《概率论与数理统计教程》（第二版，茆诗松等编）的第98页就给出的证明过程。那么，哪个证明过程才更让人点赞呢？我认为是利用母函数的证明。

二项分布的母函数为
$$\begin{equation}(q+px)^n,\quad q=1-p\end{equation}$$

点击阅读全文...

BERT的一般用法就是加载其预训练权重，再接一小部分新层，然后在下游任务上进行finetune，换句话说一般的用法都是有监督训练的。基于这个流程，我们可以做中文的分词、NER甚至句法分析，这些想必大家就算没做过也会有所听闻。但如果说直接从预训练的BERT（不finetune）就可以对句子进行分词，甚至析出其句法结构出来，那应该会让人感觉到意外和有趣了。

本文介绍ACL 2020的论文《Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT》，里边提供了直接利用Masked Language Model（MLM）来分析和解释BERT的思路，而利用这种思路，我们可以无监督地做到分词甚至句法分析。

基于BERT的“token-token”相关度计算图示

点击阅读全文...