20
Aug
【NASA每日一图】日食大厦
By 苏剑林 | 2009-08-20 | 19305位读者 | 引用
7
Feb
你的CRF层的学习率可能不够大
By 苏剑林 | 2020-02-07 | 99751位读者 | 引用CRF是做序列标注的经典方法，它理论优雅，实际也很有效，如果还不了解CRF的读者欢迎阅读旧作《简明条件随机场CRF介绍（附带纯Keras实现）》。在BERT模型出来之后，也有不少工作探索了BERT+CRF用于序列标注任务的做法。然而，很多实验结果显示（比如论文《BERT Meets Chinese Word Segmentation》）不管是中文分词还是实体识别任务，相比于简单的BERT+Softmax，BERT+CRF似乎并没有带来什么提升，这跟传统的BiLSTM+CRF或CNN+CRF的模型表现并不一样。
基于CRF的4标签分词模型示意图
这两天给bert4keras增加了用CRF做中文分词的例子（task_sequence_labeling_cws_crf.py），在调试过程中发现了CRF层可能存在学习不充分的问题，进一步做了几个对比实验，结果显示这可能是CRF在BERT中没什么提升的主要原因，遂在此记录一下分析过程，与大家分享。
6
Dec
决定命运的时刻——哥本哈根气候大会！
By 苏剑林 | 2009-12-06 | 15918位读者 | 引用
4
Feb
大气光学质量(Airmass)
By 苏剑林 | 2010-02-04 | 35273位读者 | 引用天文学中有一个名词Airmass，注意这并非Air mass（空气质量），这是指天顶距等于z的方向上大气光学厚度和天顶方向大气光学厚度之比，我目前也找不到它的中文名称究竟是什么，反正觉得如果译成“大气质量”很怪，就暂且翻译成“大气厚度指数”好了。现在知道它叫做“大气光学质量”了，一般用X表示，如下图中，$X={BC}/{AC}$。
星光传播示意图
在一片较小的区域内，大气层和地面都可以视为平行平面，这时有一个很好的近似公式：
$$X=\sec z$$
对于现在的中学教材来说，有的读者可能不了解\sec为何物，实际上：$\sec z=\frac{1}{\cos z}$
6
Mar
谈大气消光和大气折光
By 苏剑林 | 2010-03-06 | 38459位读者 | 引用
其实太阳已经落到了地平线以下（大气折光）
苏剑林（BoJone） 编写/翻译
实际感受：
大家也许会有这样的生活经验：早上的太阳没有中午的太阳猛烈？从东方升起到我们的头顶，月亮一直在变“亮”？……这些现象都与地球大气的“消光”现象密切相关！
众所周知，地球有一层厚厚的大气，既是我们呼吸的来源，也是我们生命的保护伞。他为我们提供了臭氧层，也为我们提供了蓝天和风霜雨露，还为我们送上了绚丽的彩虹。然而，在天文学角度，大气却是我们的“障碍”，浓厚的大气不利于我们对宇宙进行清晰的观测。因此，天文学家们一直希望把天文台建立海拔更高的地方，因为那里有着稀薄的大气……为了渴求更高的清晰度，人们甚至把望远镜放到了地球之外。
27
Jun
威力巨大的“有向线段”
By 苏剑林 | 2010-06-27 | 20160位读者 | 引用
6
Nov
[遐想]细胞的进化是一次次“大吞并”？
By 苏剑林 | 2011-11-06 | 41739位读者 | 引用传说中的高三备考是一次全面系统的大复习，但对于我们而言，它并不是复习，而是学习。我发现很多知识点在以前都是鲜有接触的，这无疑说明了两个问题：当时我学习得很肤浅；我的遗忘力太强了。就拿生物来说吧，以前总是很简单地就跳阅过去了，从不会去思考一些深入的问题。现在的重新“复习”阶段，却饶有兴趣地引出了很多的思考。特别是有关细胞进化的讨论，显得特别有趣。
一个典型的有尾噬菌体的结构：①头部，②尾部，③核酸，④头壳，⑤颈部，⑥尾鞘，⑦尾丝，⑧尾钉，⑨基板
根据古生物的研究，地球上第一个生命起源于32亿年前，是一个很简单的原核细胞，其遗传物质是RNA，后来逐渐演变成以DNA为遗传物质，例如细菌有一个环状的DNA分子。原核生物很快就进化出了真核生物，因为迄今所知最古老的真核生物化石已有近21亿年的历史，许多科学家推测，最早的真核生物可能早在30亿年前就出现了。
这里便引申出了一个问题：病毒是什么时候出现的？它是怎么出现的？
最近评论