10 Sep

在五花八门的预训练任务设计中,NSP通常认为是比较糟糕的一种,因为它难度较低,加入到预训练中并没有使下游任务微调时有明显受益,甚至RoBERTa的论文显示它会带来负面效果。所以,后续的预训练工作一般有两种选择:一是像RoBERTa一样干脆去掉NSP任务,二是像ALBERT一样想办法提高NSP的难度。也就是说,一直以来NSP都是比较“让人嫌弃”的。

不过,反转来了,NSP可能要“翻身”了。最近的一篇论文《NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction》(下面简称NSP-BERT)显示NSP居然也可以做到非常不错的Zero Shot效果!这又是一个基于模版(Prompt)的Few/Zero Shot的经典案例,只不过这一次的主角是NSP。

背景回顾

曾经我们认为预训练纯粹就是预训练,它只是为下游任务的训练提供更好的初始化,像BERT的预训练任务有MLM(Masked Language Model和NSP(Next Sentence Prediction),在相当长的一段时间内,大家都不关心这两个预训练任务本身,而只是专注于如何通过微调来使得下游任务获得更好的性能。哪怕是T5将模型参数训练到了110亿,走的依然是“预训练+微调”这一路线。

点击阅读全文...

18 Jul

日全食多路联合直播频道

正式直播活动计划于北京时间7月22日7时30分开始,11时30分结束,持续约4个小时。

(观看请安装PPlive插件,只能用IE或者IE内核浏览器观看)

 

简介:

点击阅读全文...

29 Aug

行动起来!共同应对全球气候变暖

8月28日是距离哥本哈根气候大会召开倒数100天的日子。

在这个特殊的日子,绿色和平将以特别的行动,邀请了广大的中国公众一起关注全球变暖,参与拯救气候的伟大使命。

11点至16点这五个小时内,“我在乎”和观众们一起来观看见证了这些“冰孩子”们的命运:

中国 — 8月28日,无数双眼睛见证了这样的一幕:绿色和平取自长江、黄河和恒河三条大江源头的冰川融水在北京制作而成冰雕孩子,同印度新德里雕刻成数字“100”的冰雕遥相呼应。冰小孩的在北京和印度新德里的迅速“消失”,告诉我们喜马拉雅—青藏高原地区冰川的加速消融,影响最大的当然是亚洲国家人民的生活。

点击阅读全文...

15 Nov

又一道川菜!媲美“开水白菜”的瓜燕穗肚

开水白菜是一道非常经典的四川名菜,是国宴级别的菜肴。以前就写过科普《不求珍馐百味,但愿开水白菜》来介绍了开水白菜。

好吃的东西有很多,开水白菜让我惦记的,是它那精致到极致的追求,是那种锋芒不露的内敛。

刚才浏览视频时,发现了另一道类似的菜肴:瓜燕穗肚。而且它也是一道川菜~用猪肚仁切成麦穗的形状,用冬瓜做成燕窝的外形,配合跟开水白菜一样的上等清汤,就构成了瓜燕穗肚。

“瓜燕穗肚”截图(没有什么高清图,我是直接从下面视频里截图的)

“瓜燕穗肚”截图(没有什么高清图,我是直接从下面视频里截图的)

点击阅读全文...

8 Jul

古老的火山爆发造成地球冰期?

翻译语录:总的来说,这篇文章的翻译还是比较顺利,不懂的词查一下软件就OK,所以这次要说一下翻译以外的问题:众所周知,二氧化碳会造成温室效应,而二氧化硫能够抑制温室效应。不过糟糕的是,几乎所有大气环境治理手段都将把其它污染性气体转变成二氧化碳为目标,包括处理二氧化硫。这就造成了约治理环境,温室效应越强的问题。这时我们的环境学家也应考虑下两者的均衡问题了

图片说明:俄罗斯Kamtchatka火山爆发

图片说明:俄罗斯Kamtchatka火山爆发

点击阅读全文...

2 Oct

《科学》:我们发现了磁单极子

电与磁具有很多相似性,那么,自然界允许只带有单一电荷的电子存在,那允不允许只有一个磁极的物体存在呢?也许会有的,英国物理学家保罗·狄拉克(Paul Dirac)早在1931年利用数学公式预言了这种物质的存在,并且把它叫做“磁单极子”。而今天,我们已经发现了它们的足迹! 磁单极子是理论物理学弦理论中指一些仅带有北极或南极单一磁极的磁性物质,它们的磁感线分布类似于点电荷的电场线分布。这种物质的存在性在科学界時有纷争,截至2008年尚未发现这种物体。可以说是21世纪物理学界重要的研究主题之一。在2009年9月3日的《科学》杂志上刊载了一篇记录人类首次观测到磁单极子的论文。

点击阅读全文...

27 Jan

CDS星表库

文章转载于:http://gerry.lamost.org/blog/?p=417

logo_iya2009

logo_iya2009

去年是国际天文年,在翻译官方宣传手册之外,还在朋友们的鼓励下给《天文爱好者》写了一年的连载,介绍著名星表。编辑李鉴给这个系列起了个很棒的名字:“群星的族谱”。前后四五百年,二十多代天文学家,上千个星表,在新线索的串联下,发展脉络清晰可见。我常常因为灵光乍现激动得匆匆提笔,却在下笔的一刻冒出更多的问题……在积累有限之外,自己的笔力也还不足以驾驭这样宏大的题材,就当成框架索引来看好了。虽然遗憾种种,但总算是完成了

一个心愿

。这里是这个系列的番外篇,介绍星表数据库,发表在2010年1月的爱好者杂志上。

讲星表,就不能不提到法国斯特拉斯堡天文数据中心(Strasbourg Astronomical Data Center),这个始建于1972年的数据中心汇集了有文献记载的近万个星表,提供了详尽的查询方式,是天文学家获取数据的首选。而它的身世却少有人知……

点击阅读全文...

29 Jul

R136a1,300倍太阳质量的怪兽星

原文链接:http://www.eso.org/public/news/eso1030/

译文来自:http://www.astronomy.com.cn/bbs/thread-141201-1-1.html

Stars Just Got Bigger 超大质量的巨星 A 300 Solar Mass Star Uncovered 发现超过300太阳质量的蓝超巨星

Using a combination of instruments on ESO’s Very Large Telescope, astronomers have discovered the most massive stars to date, one weighing at birth more than 300 times the mass of the Sun, or twice as much as the currently accepted limit of 150 solar masses. The existence of these monsters — millions of times more luminous than the Sun, losing weight through very powerful winds — may provide an answer to the question “how massive can stars be?”

借助于ESO的甚大望远镜(VLT),天文学家发现了创质量纪录的巨星——达300个太阳质量以上,是我们此前公认的(星族II)恒星质量上限——150个太阳的2倍。发现如此怪兽级恒星:光度是太阳的数百万倍,以极速恒星风迅速损失质量——由此产生了一个问题:恒星质量上限到底是多少?

点击阅读全文...