13
Sep
大词表语言模型在续写任务上的一个问题及对策
By 苏剑林 | 2023-09-13 | 29643位读者 | 引用对于LLM来说，通过增大Tokenizer的词表来提高压缩率，从而缩短序列长度、降低解码成本，是大家都喜闻乐见的事情。毕竟增大词表只需要增大Embedding层和输出的Dense层，这部分增加的计算量几乎不可感知，但缩短序列长度之后带来的解码速度提升却是实打实的。当然，增加词表大小也可能会对模型效果带来一些负面影响，所以也不能无节制地增加词表大小。本文就来分析增大词表后语言模型在续写任务上会出现的一个问题，并提出参考的解决方案。
优劣分析
增加词表大小的好处是显而易见的。一方面，由于LLM是自回归的，它的解码会越来越慢，而“增大词表 → 提高压缩率 → 缩短序列长度”，换言之相同文本对应的tokens数变少了，也就是解码步数变少了，从而解码速度提升了；另一方面，语言模型的训练方式是Teacher Forcing，缩短序列长度能够缓解Teacher Forcing带来的Exposure Bias问题，从而可能提升模型效果。
26
Sep
脑洞大开：非线性RNN居然也可以并行计算？
By 苏剑林 | 2023-09-26 | 51906位读者 | 引用近年来，线性RNN由于其可并行训练以及常数推理成本等特性，吸引了一定研究人员的关注（例如笔者之前写的《Google新作试图“复活”RNN：RNN能否再次辉煌？》），这让RNN在Transformer遍地开花的潮流中仍有“一席之地”。然而，目前看来这“一席之地”只属于线性RNN，因为非线性RNN无法高效地并行训练，所以在架构之争中是“心有余而力不足”。
不过，一篇名为《Parallelizing Non-Linear Sequential Models over the Sequence Length》的论文有不同的看法，它提出了一种迭代算法，宣传可以实现非线性RNN的并行训练！真有如此神奇？接下来我们一探究竟。
求不动点
原论文对其方法做了非常一般的介绍，而且其侧重点是PDE和ODE，这里我们直接从RNN入手。考虑常见的简单非线性RNN：
\begin{equation}x_t = \tanh(Ax_{t-1} + u_t)\label{eq:rnn}\end{equation}
9
Jul
植物拯救了地球，阻止寒冷灭绝之灾！
By 苏剑林 | 2009-07-09 | 21711位读者 | 引用
14
Jul
澳洲恐龙洞穴揭示气候变化
By 苏剑林 | 2009-07-14 | 26510位读者 | 引用
28
Jul
这样的世界之最你见过没有？
By 苏剑林 | 2009-07-28 | 20190位读者 | 引用
7
Aug
2009年英仙座流星雨观测
By 苏剑林 | 2009-08-07 | 19529位读者 | 引用
8
Aug
彗星(非小行星)重创月球
By 苏剑林 | 2009-08-08 | 18966位读者 | 引用
18
Aug
最近评论