【学习清单】最近比较重要的GAN进展论文
By 苏剑林 | 2018-12-26 | 64607位读者 | 引用这篇文章简单列举一下我认为最近这段时间中比较重要的GAN进展论文,这基本也是我在学习GAN的过程中主要去研究的论文清单。
生成模型之味
GAN是一个大坑,尤其像我这样的业余玩家,一头扎进去很久也很难有什么产出,尤其是各个大公司拼算力搞出来一个个大模型,个人几乎都没法玩了。但我总觉得,真的去碰了生成模型,才觉得自己碰到了真正的机器学习。这一点,不管在图像中还是文本中都是如此。所以,我还是愿意去关注生成模型。
当然,GAN不是生成模型的唯一选择,却是一个非常有趣的选择。在图像中至少有GAN、flow、pixelrnn/pixelcnn这几种选择,但要说潜力,我还是觉得GAN才是最具前景的,不单是因为效果,主要是因为它那对抗的思想。而在文本中,事实上seq2seq机制就是一个概率生成模型了,而pixelrnn这类模型,实际上就是模仿着seq2seq来做的,当然也有用GAN做文本生成的研究(不过基本上都涉及到了强化学习)。也就是说,其实在NLP中,生成模型也有很多成果,哪怕你主要是研究NLP的,也终将碰到生成模型。
好了,话不多说,还是赶紧把清单列一列,供大家参考,也作为自己的备忘。
It is time.
By 苏剑林 | 2015-05-24 | 53422位读者 | 引用终于可以缓一缓了~~
有留意科学空间的朋友可能发现这段时间更新比较缓慢,这一切还得从今年寒假说起...
今年一月底,由于各种原因,结合自己的兴趣,我找了一份实习工作,内容是Python编程。工作是在华南理工大学的论坛上发布的,说的比较简洁,我也比较简洁地投了简历过去,想不到收到回复了,也被录用了。二月上班,进去之后,才发现原来公司还是一家国内比较知名的电商企业,我的主要工作是数据挖掘...虽然我有一点Python的经验,但是数据挖掘基本上不在行的,所以只能够边工作边学习,疯狂恶补数据挖掘的知识。在这个过程中,我学会了很多关于数据挖掘的东西,要知道,在这之前,我不知道什么叫“特征”,什么是“逻辑回归”、“SVM”...那时候真是万千无知。
写在2013年即将逝去之际
By 苏剑林 | 2013-12-31 | 24091位读者 | 引用2013年即将过去,而我的大二也即将过去一半了。这一学期广播台的事情忙了很多,数学物理的进展比想象中稍微缓了一些,主要的进步是在向量分析(场论)、路径积分和微分方程等方面。下学期开始分流了,我选择了非师,但事实上,我更喜欢师范类的课程,我选择非师的唯一原因是选择师范需要修教育学和心理学。幸好,我们创新班的自由度比较多,可以自由选择下学期的课程,我选择了六门数学课程:
1、常微分方程;
2、复变函数;
(这两门纯粹是凑学分的,我觉得他能讲的东西我都懂了,而我认为很重要的部分他不讲...)
3、数理统计;
(这门主要的想法是为路径积分以及统计力学奠基)
4、微分几何;
(主要是广义相对论的奠基,还有理论物理形式)
5、偏微分方程;
(第4、5都是大三的课程,我是去跟大三一起上的)
6、离散数学。
暑假结束了,上学去~
By 苏剑林 | 2013-08-31 | 21934位读者 | 引用一个多月的暑假已经结束了,又回到了学校来。准确地说,昨天已经来到了学校,只是着搞卫生、社团等工作,无暇到blog上写点什么。早晨起来,一时无聊,就随便唠叨几句。
暑假就这样过去了,这也意味着大一完全过去了,我已经成为了师兄。曾不止一次感叹“光阴似箭,日月如梭”,而我越发地体味到这一点。不少人到了大学之后才明白高中生活的美好,而我有点不同,我在高中已经懂得大学并没有我们想象中的完美,所以我对大学和高中都抱有同样的眷恋和期待。大一过去了,从外边看来,我唯一的变化就是瘦了,沧桑了吧。还记得时隔一年的体检,我的体重居然少了十斤,以至于让我不得不怀疑那个秤的准确性;还记得多少次被小孩子喊做“叔叔”,被师兄称作“师兄”......
学习场论(电磁场、重力场)
By 苏剑林 | 2013-04-25 | 40025位读者 | 引用军训结束了,基本在华师安家了
By 苏剑林 | 2012-09-21 | 17250位读者 | 引用上网的那些事儿
从申请帐号到接通校园网络,昨天晚上我总共花了将近3个小时才实现了在校内上网......
其实这本来不是一件很复杂的事情,但对于我的笔记本就是挺麻烦的。首先是申请,向隔壁师兄咨询了网管所在后,几分钟就申请到了账号,然后回到宿舍配置电脑。按照说明,是需要安装一个锐捷客户端的,通过手机把笔记本连上网络后,花了差不多20M流量下载了这个客户端,然后发现它竟然不能在Windows 8 64bit上运行。这就头疼了,我的笔记本只有Windows8和ubuntu呀,总不能为了上网换回Windows 7吧?就这样在两个系统中来来回回弄了两个小时,期间尝试过用mentohust来替换它,但发现在Windows 8上还是很头疼地不行。最后只能通过兼容模式来解决:
右击“锐捷客户端”的安装程序——属性——兼容性——选择以Windows 7兼容模式
右击“锐捷客户端”的安装程序——以管理员身份运行——安装程序——重新启动
然后就可以启动锐捷客户端了。我们用的是4.31版本。
高考早已成为了历史,报考、录取等也已经成为了过去,由于高考发挥不大好,所以最终我进了华南师范大学的数学勷勤创新班,在石牌校区(华师本部)的数学科学院。
有人曾问我考得这样的成绩遗憾吗?我说的确会有些遗憾,毕竟当初很有大志地冲着更加名牌的大学;不过要是问我后不后悔这样过了高三,我会坚决地说绝不后悔,而且我会非常高兴我是这样过了。(备考、研究、玩闹......)不管怎样,我会好好把握在大学的日子,专心研究,细细品味。我不相信一个大学就可以决定我的人生,但我肯定我的大学将会是我人生中重要的一部分。
要问我未来的计划,我只能说没有什么计划。是呀,未来这么远,这么“混沌”,怎么可能预测的了呢?不过还是可以“定性”地估计一下大概方向的,以后就想做研究型的工作,虽然学习的是数学,但还是努力将其结合物理一起来学吧。所以以后可能从事物理或数学相关工作,当然,要是这些都实现不了的话,我还可以去当一个老师,毕竟,教育也是我挺有兴趣的领域(尤其是看了宝莱坞的《三个傻瓜》之后)。如果自己不是人才,就希望能够培养一些人才出来^_^。
最近评论