归档
2021年 (共2篇)
- 12月17日: Seq2Seq+前缀树:检索任务新范式(以KgCLUE为例) (17)
- 10月31日: bert4keras在手,baseline我有:CLUE基准代码 (28)
2020年 (共4篇)
- 04月29日: 节省显存的重计算技巧也有了Keras版了 (11)
- 04月02日: bert4keras在手,baseline我有:百度LIC2020 (34)
- 03月23日: AdaFactor优化器浅析(附开源实现) (20)
- 03月01日: 对抗训练浅谈:意义、方法和思考(附Keras实现) (100)
2019年 (共12篇)
- 11月25日: 6个派生优化器的简单介绍及其实现 (10)
- 11月06日: Keras:Tensorflow的黄金标准 (19)
- 09月29日: “让Keras更酷一些!”:层与模型的重用技巧 (21)
- 08月27日: 自己实现了一个bert4keras (48)
- 08月09日: seq2seq之双向解码 (6)
- 07月30日: Keras实现两个优化器:Lookahead和LazyOptimizer (7)
- 07月16日: “让Keras更酷一些!”:层中层与mask (49)
- 07月08日: 用时间换取效果:Keras梯度累积优化器 (24)
- 04月28日: “让Keras更酷一些!”:中间变量、权重滑动和安全生成器 (34)
- 03月10日: “让Keras更酷一些!”:分层的学习率和自由的梯度 (29)
- 02月22日: 巧断梯度:单个loss实现GAN模型 (7)
- 01月27日: “让Keras更酷一些!”:随意的输出和灵活的归一化 (30)
2018年 (共4篇)
- 09月08日: “让Keras更酷一些!”:小众的自定义优化器 (23)
- 09月01日: 玩转Keras之seq2seq自动生成标题 (129)
- 08月06日: “让Keras更酷一些!”:精巧的层与花式的回调 (46)
- 05月18日: 简明条件随机场CRF介绍(附带纯Keras实现) (102)
2017年 (共2篇)
- 08月06日: 【不可思议的Word2Vec】6. Keras版的Word2Vec (47)
- 07月22日: Keras中自定义复杂的loss函数 (157)
October 13th, 2018
写一篇BERT的?应该很多人都想弄明白…
BERT是什么?
BERT是谷歌最新发表的论文,横扫11项NLP任务记录,苏神赶紧解读一下。论文地址:https://arxiv.org/pdf/1810.04805.pdf
刚看到新闻,没觉得有什么好写的。就是原来是attention模型,层数加深,预训练做得更充分了...
就好比前几天的BigGAN,效果也很火爆,也没有什么好说的,基本是硬件堆起来的。