一个二值化词向量模型,是怎么跟果蝇搭上关系的?
By 苏剑林 | 2021-02-09 | 27076位读者 | 引用可能有些读者最近会留意到ICLR 2021的论文《Can a Fruit Fly Learn Word Embeddings?》,文中写到它是基于仿生思想(仿果蝇的嗅觉回路)做出来的一个二值化词向量模型。其实论文的算法部分并不算难读,可能整篇论文读下来大家的最主要疑惑就是“这东西跟果蝇有什么关系?”、“作者真是从果蝇里边受到启发的?”等等。本文就让我们来追寻一下该算法的来龙去脉,试图回答一下这个词向量模型是怎么跟果蝇搭上关系的。
BioWord
原论文并没有给该词向量模型起个名字,为了称呼上的方便,这里笔者就自作主张将其称为“BioWord”了。总的来说,论文内容大体上有三部分:
1、给每个n-gram构建了一个词袋表示向量;
2、对这些n-gram向量执行BioHash算法,得到所谓的(二值化的)静态/动态词向量;
3、“拼命”讲了一个故事。
两生物种群竞争模型:LaTeX+Python
By 苏剑林 | 2014-12-15 | 59563位读者 | 引用写在前面:本文是笔者数学建模课的作业,探讨了两生物种群竞争的常微分方程组模型的解的性质,展示了微分方程定性理论的基本思想。当然,本文最重要的目的,是展示LaTeX与Python的完美结合。(本文的图均由Python的Matplotlib模块生成;而文档则采用LaTeX编辑。)
问题提出
研究在同一个自然环境中生存的两个种群之间的竞争关系。假设两个种群独自在这个自然环境中生存时数量演变都服从Logistic规律,又假设当它们相互竞争时都会减慢对方数量的增长,增长速度的减小都与它们数量的乘积成正比。按照这样的假设建立的常微分方程模型为
$$\begin{equation}\label{eq:jingzhengfangcheng}\left\{\begin{aligned}\frac{dx_1}{dt}=r_1 x_1\left(1-\frac{x_1}{N_1}\right)-a_1 x_1 x_2 \\
\frac{dx_2}{dt}=r_2 x_2\left(1-\frac{x_2}{N_2}\right)-a_2 x_1 x_2\end{aligned}\right.\end{equation}$$
本文分别通过定量和定性两个角度来分析该方程的性质。
[遐想]细胞的进化是一次次“大吞并”?
By 苏剑林 | 2011-11-06 | 43140位读者 | 引用传说中的高三备考是一次全面系统的大复习,但对于我们而言,它并不是复习,而是学习。我发现很多知识点在以前都是鲜有接触的,这无疑说明了两个问题:当时我学习得很肤浅;我的遗忘力太强了。就拿生物来说吧,以前总是很简单地就跳阅过去了,从不会去思考一些深入的问题。现在的重新“复习”阶段,却饶有兴趣地引出了很多的思考。特别是有关细胞进化的讨论,显得特别有趣。
根据古生物的研究,地球上第一个生命起源于32亿年前,是一个很简单的原核细胞,其遗传物质是RNA,后来逐渐演变成以DNA为遗传物质,例如细菌有一个环状的DNA分子。原核生物很快就进化出了真核生物,因为迄今所知最古老的真核生物化石已有近21亿年的历史,许多科学家推测,最早的真核生物可能早在30亿年前就出现了。
这里便引申出了一个问题:病毒是什么时候出现的?它是怎么出现的?
达尔文的进化学说告诉我们,自然界总是在众多的生物中挑出最能够适应环境的物种,赋予它们更高的生存几率,久而久之,这些物种经过亿万年的“优胜劣汰”,进化成了今天的千奇百怪的生物。无疑,经过长期的选择,优良的形状会被累积下来,换句话讲,这些物种在某些环境适应能力方面已经达到最优或近乎最优的状态(又是一个极值问题了)。好,现在我们来考虑蘑菇。
蘑菇是一种真菌生物,一般生长在阴暗潮湿的环境中。喜欢湿润的它自然也不希望散失掉过多的水分,因此,它努力地调整自身的形状,使它的“失水”尽可能地少。假设单位面积的蘑菇的失水速度是一致的,那么问题就变成了使一个给定体积的立体表面积尽可能少的问题了。并且考虑到水平各向同性生长的问题,理想的蘑菇形状应该就是一个平面图形的旋转体。那么这个旋转体是什么呢?聪明的你是否想到了是一个球体(的一部分)呢?
【科学松鼠会】猫江湖(科学也是可以很有趣的)
By 苏剑林 | 2010-08-02 | 18763位读者 | 引用不要认为科学是一门多么枯燥、深奥的的学科,只要有点创意,科学也可以有趣起来。这种创意并非来源于专业人员,而是来源于生活,来源于关注 ,来源于一颗好奇而勇敢的心。下面请看科学松鼠会推出的《猫江湖》。
我有一个梦想,这个种群将会觉醒,实现其立群信条的真谛:猫猫生而平等;
我有一个梦想,在食堂垃圾桶边,阉割猫和健全公猫能同席而坐,共叙兄弟情谊;
我有一个梦想,甚至连临时喂食点这个正义匿迹、压迫成风的地方,也将变成平等和自由的绿洲;
我有一个梦想,让天下的猫孩儿都有爸爸,我的四个孩子将在一个不是以他们的毛色,而是以健康优劣作为评判标准的国家里生活;
最近评论