1
Dec
基于双向GRU和语言模型的视角情感分析
By 苏剑林 | 2016-12-01 | 90819位读者 | 引用前段时间参加了一个傻逼的网络比赛——基于视角的领域情感分析，主页在这里。比赛的任务是找出一段话的实体然后判断情感，比如“我喜欢本田，我不喜欢丰田”这句话中，要标出“本田”和“丰田”，并且站在本田的角度，情感是积极的，站在丰田的角度，情感就是消极的。也就是说，等价于将实体识别和情感分析结合起来了。
吐槽
看起来很高端，哪里傻逼了？比赛任务本身还不错，值得研究，然而官方却很傻逼，主要体现为：1、比赛分初赛、复赛、决赛三个阶段，初赛一个多月时间，然后筛选部分进入复赛，复赛就简单换了一点数据，题目、数据的领域都没有变化，复赛也是一个月的时间，这傻逼复赛究竟有什么意义？2、大家可以看看选手们在群里讨论什么：
27
Aug
fashion mnist的一个baseline (MobileNet 95%)
By 苏剑林 | 2017-08-27 | 84111位读者 | 引用浅尝
昨天简单试了一下在fashion mnist的gan模型，发现还能work，当然那个尝试也没什么技术水平，就是把原来的脚本改一下路径跑了就完事。今天回到fashion mnist本身的主要任务——10分类，用Keras测了一下一些模型在上面的分类效果，最后得到了94.5%左右的准确率，加上随机翻转的数据扩增能做到95%。
首先随便手写了一些模型的组合，测试发现准确率都不大好，看来对于这个数据集来说，自己构思模型是比较困难的了，于是想着用现成的模型结构。一说到现成的cnn模型，基本上我们都会想到VGG、ResNet、inception、Xception等，但这些模型为解决imagenet的1000分类问题而设计，用到这个入门级别的数据集上似乎过于庞大了，而且也容易过拟合。后来突然想起，Keras好像自带了个叫MobileNet的模型，查看了一下模型权重，发现参数量不大，但是容量应该还是可以的，故选用MobileNet做实验。
深究
7
Jun
python简单实现gillespie模拟
By 苏剑林 | 2018-06-07 | 75682位读者 | 引用
18
Sep
提速不掉点：基于词颗粒度的中文WoBERT
By 苏剑林 | 2020-09-18 | 120127位读者 | 引用当前，大部分中文预训练模型都是以字为基本单位的，也就是说中文语句会被拆分为一个个字。中文也有一些多颗粒度的语言模型，比如创新工场的ZEN和字节跳动的AMBERT，但这类模型的基本单位还是字，只不过想办法融合了词信息。目前以词为单位的中文预训练模型很少，据笔者所了解到就只有腾讯UER开源了一个以词为颗粒度的BERT模型，但实测效果并不好。
那么，纯粹以词为单位的中文预训练模型效果究竟如何呢？有没有它的存在价值呢？最近，我们预训练并开源了以词为单位的中文BERT模型，称之为WoBERT（Word-based BERT，我的BERT！），实验显示基于词的WoBERT在不少任务上有它独特的优势，比如速度明显的提升，同时效果基本不降甚至也有提升。在此对我们的工作做一个总结。
8
Sep
有限内存下全局打乱几百G文件（Python）
By 苏剑林 | 2021-09-08 | 77189位读者 | 引用这篇文章我们来做一道编程题：
如何在有限内存下全局随机打乱（Shuffle）几百G的文本文件？
题目背景其实很明朗，现在预训练模型动辄就几十甚至几百G语料了，为了让模型能更好地进行预训练，对训练语料进行一次全局的随机打乱是很有必要的。但对于很多人来说，几百G的语料往往比内存还要大，所以如何能在有限内存下做到全局的随机打乱，便是一个很值得研究的问题了。
已有工具
假设我们的文件是按行存储的，也就是一行代表一个样本，我们要做的就是按行随机打乱文件。假设我们只有一个文件，并且这个文件大小明显小于内存，那么我们可以用linux自带的shuf命令：
shuf input.txt -o output.txt
28
May
两本通俗读物：混沌和对称
By 苏剑林 | 2011-05-28 | 18480位读者 | 引用第一本：《天遇——混沌与稳定性的起源》
一个天体力学中的N体问题的研究，竟然发展出了如此多的现代数学理论，这不能不说是一个令人意外的事情。而事实上，N体问题至今仍是无解，这也许并非坏事，因为未被完全攻克，就意味着“N体问题”仍然还是一只“会下金蛋的母鸡”！
本书是普林斯顿文集之一。作者通过大众化的语言，叙述了天体力学和动力系统理论的历史发展，让读者感到其中那激动人心的故事。BoJone认为，要想了解分析动力学（尤其是天体力学）的发展，本书是一本难得的读物。作为混沌和稳定性理论的入门前读物，本书也是非常适合的。读历史的关键是：学会思想！
2
Dec
最近评论