6
Sep
“闭门造车”之多模态思路浅谈（三）：位置编码
By 苏剑林 | 2024-09-06 | 7971位读者 | 引用在前面的文章中，我们曾表达过这样的观点：多模态LLM相比纯文本LLM的主要差异在于，前者甚至还没有形成一个公认为标准的方法论。这里的方法论，不仅包括之前讨论的生成和训练策略，还包括一些基础架构的设计，比如本文要谈的“多模态位置编码”。
对于这个主题，我们之前在《Transformer升级之路：17、多模态位置编码的简单思考》就已经讨论过一遍，并且提出了一个方案（RoPE-Tie）。然而，当时笔者对这个问题的思考仅处于起步阶段，存在细节考虑不周全、认识不够到位等问题，所以站在现在的角度回看，当时所提的方案与完美答案还有明显的距离。
因此，本文我们将自上而下地再次梳理这个问题，并且给出一个自认为更加理想的结果。
多模位置
多模态模型居然连位置编码都没有形成共识，这一点可能会让很多读者意外，但事实上确实如此。对于文本LLM，目前主流的位置编码是RoPE（RoPE就不展开介绍了，假设读者已经熟知），更准确来说是RoPE-1D，因为原始设计只适用于1D序列。后来我们推导了RoPE-2D，这可以用于图像等2D序列，按照RoPE-2D的思路我们可以平行地推广到RoPE-3D，用于视频等3D序列。
5
Aug
经典电视剧：《仙剑奇侠传3》专辑
By 苏剑林 | 2009-08-05 | 22656位读者 | 引用
12
Aug
科学家计划研制造云船对抗全球变暖(图)
By 苏剑林 | 2009-08-12 | 22458位读者 | 引用
27
Jul
今天升级了Blog（欢迎大家来“顶”！）
By 苏剑林 | 2009-07-27 | 54845位读者 | 引用
18
Aug
世界各国能否联手应对气候变化？
By 苏剑林 | 2009-08-18 | 23475位读者 | 引用
28
Aug
正十七边形的尺规作图
By 苏剑林 | 2009-08-28 | 37714位读者 | 引用为何正17边形能够用尺规作出来？要如何作？先别急，请看下面的解释：
一个正质数多边形可以用标尺作图的充分和必要条件是，该多边形的边数必定是一个费马质数。换句话说，只有正三边形、正五边形、正十七边形、正257边形和正63357边形可以用尺规作出来，其它的正质数多边形就不可以了。（除非我们再发现另一个费马质数。）
正17边形的尺规作法是高斯在1796年得出的，他也因此决心要成为数学家。关于费马质数，是指形如$2^{2^n}+1$的质数，一开始费马认为对于所有的n，这种形式的数都是质数。可是这似乎是上天的玩笑，目前只发现了当n=0,1,2,3,4的时候$2^{2^n}+1$是质数，其余都是合数。
1
Oct
【NASA每日一图】春分时刻的土星
By 苏剑林 | 2009-10-01 | 18827位读者 | 引用
8
Oct
最近评论