更便捷的Cool Papers打开方式:Chrome重定向扩展
By 苏剑林 | 2024-02-02 | 43415位读者 |一些铺垫 #
自Cool Papers上线以来,很多用户就建议笔者加入搜索功能,后面也确实在前端用JS简单做了个页面内搜索,解决了部分用户的需求,但仍有读者希望引入更完整的全局搜索。诚然,笔者理解这个需求确实是存在,但Cool Papers的数据是逐天累积的,目前才上线一个月,论文数并不多,建立一个大而全的搜索引擎意义不大,其次做搜索也不是笔者的强项,以及并没有很好的利用LLM优化搜索的思路,等等。总而言之,暂时没有条件实现一个全面而又有特色的搜索,所以不如不做(也欢迎大家在评论区集思广益)。
后来,经过和同事讨论,想出了一个“借花献佛”的思路——写一个Chrome的重定向扩展,可以从任意页面重定向到Cool Papers。这样我们可以用任意方式(如Google搜索或者直接Arxiv官方搜索)找到Arxiv上的论文,然后右击一下就转到Cool Papers了。前两周这个扩展已经在Chrome应用商店上线,上周服务器配合做了一些调整,如今大家可以尝试使用了。
使用方式 #
扩展的使用很简单,在Chrome安装成功后,以任意方式搜索论文,然后右击对应的地方(有时候空白之处也可以),会多处一个“Redirect to Cool Papers”的选项,点击该选项,浏览器会自动检测“所选文字”、“所选链接”或者“网站地址”可能存在的论文ID(检测到即停止),并自动跳转到Cool Papers对应的页面,效果如下:
放开历史 #
事实上,实现这样一个重定向扩展还是比较简单的,只需要简单的HTML+JS就行,当然这前提是得益于GPT4和Kimi的双重指导。
既然扩展的开发不是难度,那么就剩下一个难题——全面开放历史论文访问所带来的压力。很多用户已经留意到,此前Cool Papers就可以通过https://papers.cool/arxiv/<paper_id>
访问特定的论文,但仅限于数据库已有的论文,不存在的则会显示Not Found。而如果普及Cool Papers Redirector的使用的话,则必然要放开所有Arxiv历史论文的爬取和访问,否则十篇论文有八篇都是Not Found,那Redirector就几乎没有意义了。
为了在放开历史论文的同时,保证Cool Papers的主线——刷当天最新论文——的正常进行,笔者对Arxiv爬取队列和Kimi对话队列采取了多优先级设计(目前分三级)。首先,“超级VIP”是我们内部权限,通过填入正确的Magic Token进行解锁,这跟普通访客无关;其次,是当天论文优先,Arxiv队列在到点之后,优先获取当天论文列表,然后才处理历史论文请求,同理Kimi队列会优先处理当天论文,当天论文自动“插队”到历史论文前面;最后,历史论文的爬取和Kimi都是第三优先级。
这样一来,基本能够确保不影响当天论文的阅读,并且将闲余资源用于历史论文的处理。
其他更新 #
相比在《写了个刷论文的辅助网站:Cool Papers》和《新年快乐!记录一下 Cool Papers 的开发体验》刚发布的时候,如今经过一个月的改进,Cool Papers在功能上已经完善了很多(当然界面上一如既往地简陋),除了本文的开放所有历史论文访问外,其他改动还包括:
1、底部增加Bar,可以搜索论文、查看/导出阅读记录等,当然这些功能都仅限页面内;
2、支持指定日期的论文列表,可在首页分类右端的日历图标选日期,也可以点击列表页的日期文字来选择日期;
3、换用PDF.js预览PDF,支持移动端刷论文,同时优化PDF文字解析效果,提高[Kimi]的质量;
5、在第4个Bar按钮可以将[Kimi]切换为英文输出,方便外国网友,或者需要对照英文原文的网友;
6、一大堆微小的Bug修复~
总的来说,界面上看起来没怎么变化,但实际上几乎每天都或多或少有些改进,源码相比初版,可谓是“面目全非”了。接下来要做的事情,可能是新增其他论文源,如OpenReview、bioRxiv等,敬请大家期待~
文章小结 #
本文分享了通过Chrome重定向扩展来打开Cool Papers的新方式,并简单回顾了一下近来Cool Papers的变化。
转载到请包括本文地址:https://kexue.fm/archives/9978
更详细的转载事宜请参考:《科学空间FAQ》
如果您还有什么疑惑或建议,欢迎在下方评论区继续讨论。
如果您觉得本文还不错,欢迎分享/打赏本文。打赏并非要从中获得收益,而是希望知道科学空间获得了多少读者的真心关注。当然,如果你无视它,也不会影响你的阅读。再次表示欢迎和感谢!
如果您需要引用本文,请参考:
苏剑林. (Feb. 02, 2024). 《更便捷的Cool Papers打开方式:Chrome重定向扩展 》[Blog post]. Retrieved from https://kexue.fm/archives/9978
@online{kexuefm-9978,
title={更便捷的Cool Papers打开方式:Chrome重定向扩展},
author={苏剑林},
year={2024},
month={Feb},
url={\url{https://kexue.fm/archives/9978}},
}
February 2nd, 2024
[...]Read More [...]
February 11th, 2024
非常方便、好用,致敬~
看到还有打赏功能,已支持小小运营经费,祝苏神和各位读者们新年快乐!
February 18th, 2024
很好用的工具,谢谢苏神。能在author下面加一个机构栏吗。可以不用点进PDF就知道是哪家的文章
arxiv没有提供这个信息,要想看只能从pdf抽取,但是pdf的格式千奇百怪,没有自动化抽取...
明白了!谢谢苏神
可以用kimi抽取吗?
可以,但一来比较费token,二来其实我不大希望通过作者、机构等带有刻板印象的信息来筛选论文,希望大家更关注论文本身,让每篇论文都在同一起点上。
February 22nd, 2024
有个api可以获取到较全的论文元数据信息 覆盖数据库范围较广 对遍历论文列表可能会有帮助https://api.crossref.org/swagger-ui/index.html
这个是针对发布时间较久、已经“成熟”的论文?
一切注册了doi的论文;更新入库大概是T+2的样子;以前自己做了个论文搜索网站用的就是这个,是几年前的事了,但是这个接口应该还好使
刚开始我清洗采集了20+站点,后来发现不如直接用这个api:结构化数据;覆盖范围广;更新快;
再次感谢推荐,mark了~
February 27th, 2024
试了下很好用~ kimichat上大分
March 1st, 2024
苏神,能给cool paper加个rss吗
rsshub的规则挂掉了
https://docs.rsshub.app/routes/journal#cool-papers
首页不是有RSS(Atom)了吗?
June 5th, 2024
苏神您好,可以公开一下和kimi对话的prompt吗?我想在gpt里阅读其他论文(没有放在arxiv的)
system prompt: 你是一个学术助手,后面的对话将围绕着以下论文内容进行。请你作出专业的回答,不要出现第一人称,当涉及到分点回答时,鼓励你以markdown格式输出。
然后逐个问题提问,不要一次性问所有问题。
June 17th, 2024
为啥不做利用cookie保存star?
你的意思是本地保存stared的论文吗?现在就有啊。