曾被嫌弃的预训练任务NSP,做出了优秀的Zero Shot效果
By 苏剑林 | 2021-09-10 | 58615位读者 | 引用在五花八门的预训练任务设计中,NSP通常认为是比较糟糕的一种,因为它难度较低,加入到预训练中并没有使下游任务微调时有明显受益,甚至RoBERTa的论文显示它会带来负面效果。所以,后续的预训练工作一般有两种选择:一是像RoBERTa一样干脆去掉NSP任务,二是像ALBERT一样想办法提高NSP的难度。也就是说,一直以来NSP都是比较“让人嫌弃”的。
不过,反转来了,NSP可能要“翻身”了。最近的一篇论文《NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction》(下面简称NSP-BERT)显示NSP居然也可以做到非常不错的Zero Shot效果!这又是一个基于模版(Prompt)的Few/Zero Shot的经典案例,只不过这一次的主角是NSP。
背景回顾
曾经我们认为预训练纯粹就是预训练,它只是为下游任务的训练提供更好的初始化,像BERT的预训练任务有MLM(Masked Language Model和NSP(Next Sentence Prediction),在相当长的一段时间内,大家都不关心这两个预训练任务本身,而只是专注于如何通过微调来使得下游任务获得更好的性能。哪怕是T5将模型参数训练到了110亿,走的依然是“预训练+微调”这一路线。
日全食多路联合直播频道
By 苏剑林 | 2009-07-18 | 17869位读者 | 引用行动起来!共同应对全球气候变暖
By 苏剑林 | 2009-08-29 | 17128位读者 | 引用8月28日是距离哥本哈根气候大会召开倒数100天的日子。
在这个特殊的日子,绿色和平将以特别的行动,邀请了广大的中国公众一起关注全球变暖,参与拯救气候的伟大使命。
11点至16点这五个小时内,“我在乎”和观众们一起来观看见证了这些“冰孩子”们的命运:
中国 — 8月28日,无数双眼睛见证了这样的一幕:绿色和平取自长江、黄河和恒河三条大江源头的冰川融水在北京制作而成冰雕孩子,同印度新德里雕刻成数字“100”的冰雕遥相呼应。冰小孩的在北京和印度新德里的迅速“消失”,告诉我们喜马拉雅—青藏高原地区冰川的加速消融,影响最大的当然是亚洲国家人民的生活。
又一道川菜!媲美“开水白菜”的瓜燕穗肚
By 苏剑林 | 2018-11-15 | 36461位读者 | 引用古老的火山爆发造成地球冰期?
By 苏剑林 | 2009-07-08 | 33253位读者 | 引用《科学》:我们发现了磁单极子
By 苏剑林 | 2009-10-02 | 28401位读者 | 引用电与磁具有很多相似性,那么,自然界允许只带有单一电荷的电子存在,那允不允许只有一个磁极的物体存在呢?也许会有的,英国物理学家保罗·狄拉克(Paul Dirac)早在1931年利用数学公式预言了这种物质的存在,并且把它叫做“磁单极子”。而今天,我们已经发现了它们的足迹! 磁单极子是理论物理学弦理论中指一些仅带有北极或南极单一磁极的磁性物质,它们的磁感线分布类似于点电荷的电场线分布。这种物质的存在性在科学界時有纷争,截至2008年尚未发现这种物体。可以说是21世纪物理学界重要的研究主题之一。在2009年9月3日的《科学》杂志上刊载了一篇记录人类首次观测到磁单极子的论文。
文章转载于:http://gerry.lamost.org/blog/?p=417
去年是国际天文年,在翻译官方宣传手册之外,还在朋友们的鼓励下给《天文爱好者》写了一年的连载,介绍著名星表。编辑李鉴给这个系列起了个很棒的名字:“群星的族谱”。前后四五百年,二十多代天文学家,上千个星表,在新线索的串联下,发展脉络清晰可见。我常常因为灵光乍现激动得匆匆提笔,却在下笔的一刻冒出更多的问题……在积累有限之外,自己的笔力也还不足以驾驭这样宏大的题材,就当成框架索引来看好了。虽然遗憾种种,但总算是完成了
一个心愿。这里是这个系列的番外篇,介绍星表数据库,发表在2010年1月的爱好者杂志上。
讲星表,就不能不提到法国斯特拉斯堡天文数据中心(Strasbourg Astronomical Data Center),这个始建于1972年的数据中心汇集了有文献记载的近万个星表,提供了详尽的查询方式,是天文学家获取数据的首选。而它的身世却少有人知……
R136a1,300倍太阳质量的怪兽星
By 苏剑林 | 2010-07-29 | 29526位读者 | 引用原文链接:http://www.eso.org/public/news/eso1030/
译文来自:http://www.astronomy.com.cn/bbs/thread-141201-1-1.html
Stars Just Got Bigger 超大质量的巨星 A 300 Solar Mass Star Uncovered 发现超过300太阳质量的蓝超巨星
Using a combination of instruments on ESO’s Very Large Telescope, astronomers have discovered the most massive stars to date, one weighing at birth more than 300 times the mass of the Sun, or twice as much as the currently accepted limit of 150 solar masses. The existence of these monsters — millions of times more luminous than the Sun, losing weight through very powerful winds — may provide an answer to the question “how massive can stars be?”
借助于ESO的甚大望远镜(VLT),天文学家发现了创质量纪录的巨星——达300个太阳质量以上,是我们此前公认的(星族II)恒星质量上限——150个太阳的2倍。发现如此怪兽级恒星:光度是太阳的数百万倍,以极速恒星风迅速损失质量——由此产生了一个问题:恒星质量上限到底是多少?
最近评论