科学空间|Scientific Spaces

北大这次也太不够朋友了，华约、卓越的成绩昨天就已经出来了，北大的今天才查到（不知道它是昨晚公布还是今天早上公布的），着急等待了一整天。千呼万唤，总算出来了。

很遗憾地告诉大家，就目前的情况来看，北大自招是没戏了。271的总分，很难被通过...

自主招生 成绩

点击阅读全文...

写在前面：作为离散数学的实验作业，我选择了研究数独。经过测试发现，数独的自动推理还不算难，我把两种常规的推理思路转化为了计算机代码，并结合了随机性推导，得到了一个解题能力还不错的数独程序。事实上，本文的程序还可以进一步优化，以得到更高能力的数独程序（只需要整理一下代码，加上几个循环和判断即可），但是我实在太懒，没有动力继续弄下去了，就这样先和大家分享吧。最后，笔者认为本文的算法是更接近我们的思维的算法。

数独简介

历史

相传数独源起于拉丁方阵（Latin Square），1970年代在美国发展，改名为数字拼图（Number Place）、之后流传至日本并发扬光大，以数学智力游戏智力拼图游戏发表。在1984年一本游戏杂志《パズル通信ニコリ》正式把它命名为数独，意思是“在每一格只有一个数字”。后来一位前任香港高等法院的新西兰籍法官高乐德（Wayne Gould）在1997年3月到日本东京旅游时，无意中发现了。他首先在英国的《泰晤士报》上发表，不久其他报纸也发表，很快便风靡全英国，之后他用了6年时间编写了电脑程式，并将它放在网站上，使这个游戏很快在全世界流行。

台湾于2005年5月由“中国时报”首度引进, 且每日连载, 亦造成很大的回响。台湾数独发展协会(Taiwan Sudoku Association, 简称 TSA)亦为世界解谜联盟会员。香港是在2005年7月30日由AM730在创刊时引入数独。中国大陆是在2007年2月28日正式引入数独。北京晚报智力休闲数独俱乐部（数独联盟前身）在新闻大厦举行加入世界谜题联合会的颁证仪式，成为世界谜题联合会的39个成员之一。（引用自“中文维基百科”： http://zh.wikipedia.org/wiki/数独）

点击阅读全文...

分享个人实现的bert4keras：

https://github.com/bojone/bert4keras

这是笔者重新实现的keras版的bert，致力于用尽可能清爽的代码来实现keras下调用bert。

说明

目前已经基本实现bert，并且能成功加载官方权重，经验证模型输出跟keras-bert一致，大家可以放心使用。

本项目的初衷是为了修改、定制上的方便，所以可能会频繁更新。

因此欢迎star，但不建议fork，因为你fork下来的版本可能很快就过期了。

点击阅读全文...

大概在1年前，我们提出了旋转位置编码（RoPE），并发布了对应的预训练模型RoFormer。随着时间的推移，RoFormer非常幸运地得到了越来越多的关注和认可，比如EleutherAI新发布的60亿和200亿参数的GPT模型中就用上了RoPE位置编码，Google新提出的FLASH模型论文中则明确指出了RoPE对Transformer效果有明显的提升作用。

与此同时，我们也一直在尝试继续加强RoFormer模型，试图让RoFormer的性能“更上一层楼”。经过近半年的努力，我们自认为取得了还不错的成果，因此将其作为“RoFormerV2”正式发布：

Github：https://github.com/ZhuiyiTechnology/roformer-v2

点击阅读全文...

在狭义相对论发表之前和之后，都有不少实验从不同角度论证了它的正确性。这些实验大多数是实际测量得出结果的，当然也存在着一些“理想实验”，这些实验只需要一定的逻辑推理，而实际上是无法完成的。下面就是我很久之前在某本书（很抱歉，我真的忘记书名了）看到的一个用来推翻光速可叠加的伽利略变换的理想实验。它只用寥寥几句，就好像已经证明了“c+c=c”（c是真空中的光速）的事实。可是“c+c=c”在狭义相对论上是作为原理出现的，是不可能通过逻辑推理来证明的。事实究竟如何？我们先来看这个实验。

光速不变的理想实验

任意选定一个坐标原点。设想原点的正北方$c\cdot t_0$处有一架以光速$c$朝南运行的飞机1；原点的正西方$c\cdot t_0$处有一架以光速$c$朝东运行的飞机2。假设就这样匀速运动着，显然，$t_0$时间后，将会发生惨剧（飞机相撞）。

点击阅读全文...

在文章《从熵不变性看Attention的Scale操作》中，我们推导了一版具有熵不变性质的注意力机制：
\begin{equation}Attention(Q,K,V) = softmax\left(\frac{\kappa \log n}{d}QK^{\top}\right)V\label{eq:a}\end{equation}
可以观察到，它主要是往Softmax里边引入了长度相关的缩放因子$\log n$来实现的。原来的推导比较繁琐，并且做了较多的假设，不利于直观理解，本文为其补充一个相对简明快速的推导。

推导过程

我们可以抛开注意力机制的背景，直接设有$s_1,s_2,\cdots,s_n\in\mathbb{R}$，定义
$$p_i = \frac{e^{\lambda s_i}}{\sum\limits_{i=1}^n e^{\lambda s_i}}$$

点击阅读全文...

多彩金庸

在金庸笔下（其实很多武侠小说都如此），武功可以分三种：第一种是实打实的猛，如洪七公的降龙十八掌、金轮法王的龙象般若功等，它们的特点是主要特点是刚猛，比如

乔峰的降龙二十八掌是丐帮前任帮主汪剑通所传，但乔峰生俱异禀，于武功上得天独厚，他这降龙二十八掌摧枯拉朽，无坚不破，较之汪帮主尤有胜过。乔峰见对方双掌齐推，自己如以单掌相抵，倘若拼成平手，自己似乎稍占上风，不免有失恭敬，于是也双掌齐出。他左右双掌中所使掌力，也仍都是外三内七，将大部分掌力留劲不发。

——出自《天龙八部》世纪新修版

第二种是以虚招为主，也就是说你不能比对手猛，你骗倒对手也行，比如桃花岛的落英神剑掌：

这套掌法是黄药师观赏桃花岛中桃花落英缤纷而创制，出招变化多端，还讲究姿势之美。她双臂挥动，四方八面都是掌影，或五虚一实，或八虚一实，直似桃林中狂风忽起、万花齐落，妙在手足飘逸，宛若翩翩起舞，但她一来功力尚浅，二来心存顾惜，未能出掌凌厉如剑。郭靖眼花缭乱，哪里还守得住门户，不提防啪啪啪啪，左肩右肩、前胸后背，接连中了四掌，黄蓉全未使力，郭靖自也不觉疼痛。

——出自《射雕英雄传》世纪新修版

第三种是以巧招为主，它不求一味刚猛，也不一味虚虚实实，而且讲究用力恰到好处，起到“以柔克刚”、“四两拨千斤”之效。显然，这种武功的代表作是太极，另外打狗棒法、乾坤大挪移、还有全真教和古墓派的武功也暗含了这个道理，比如：

点击阅读全文...

中山大学基础数学研究生，本科为华南师范大学。93年从奥尔特星云移民地球，因忘记回家路线，遂仰望星空，希望找到时空之路。同时兼爱各种科学，热衷钻牛角尖，因此经常碰壁，但偶然把牛角钻穿，也乐在其中。偏爱物理、天文、计算机，喜欢思考，虽擅长理性分析，但也容易感情用事，崇拜Feynman。爱好阅读，没事偷懒玩玩象棋，闲时爱好进入厨房做几道小菜，偶尔也开开数据“挖掘机”。明明要学基础数学，偏偏不务正业，沉溺神经网络，妄想人工智能，曾未在ACL、AAAI、COLING等会议上发表一篇文章。近期还挣扎在NLP大坑，在科学空间（https://kexue.fm）期待大家的拯救。

历史内容

华南师范大学数学系学生。93年从奥尔特星云移民地球，因忘记回家路线，遂仰望星空，希望找到时空之路。同时兼爱各种科学，热衷钻牛角尖，因此经常碰壁，但偶然把牛角钻穿，也乐在其中。偏爱物理、天文，喜欢思考，虽擅长理性分析，但也容易感情用事，崇拜费曼。长期阅读《天文爱好者》和《环球科学》，没事偷懒玩玩象棋，闲时爱好进入厨房做几道小菜，偶尔也当当电工。近期主要学习理论物理，在科学空间期待大家的指教。

名称：科学空间|Scientific Spaces
网址：http://kexue.fm

站长：苏剑林
信念：探索我们的世界，聆听我们的自然

网站历史

2009.03.01 网站初步建立，刚开始的时候使用的是BoBlog以及宇宙驿站的空间，内容定位：科学转载。

2009.03.28 开始进行大规模推广，访问量开始提高

2009.03-05 期间进行过多次改变，特别是Blog程序的转换，内容上的改革等

点击阅读全文...