6 May

记录一次爬取淘宝/天猫评论数据的过程

笔者最近迷上了数据挖掘和机器学习,要做数据分析首先得有数据才行。对于我等平民来说,最廉价的获取数据的方法,应该是用爬虫在网络上爬取数据了。本文记录一下笔者爬取天猫某商品的全过程,淘宝上面的店铺也是类似的做法,不赘述。主要是分析页面以及用Python实现简单方便的抓取。

笔者使用的工具如下

Python 3——极其方便的编程语言。选择3.x的版本是因为3.x对中文处理更加友好。

Pandas——Python的一个附加库,用于数据整理。

IE 11——分析页面请求过程(其他类似的流量监控工具亦可)。

剩下的还有requests,re,这些都是Python自带的库。

实例页面(美的某热水器):http://detail.tmall.com/item.htm?id=41464129793

阅读剩余部分...

30 Jun

简单做了个Logo~

科学空间Logo.png简单为blog设计了个Logo,虽说是设计,其实也就是简单地把量子力学中路径积分的被积函数$e^{\frac{i}{\hbar}S}$拿过来了。

Logo的主体是一个“S”,含义有那么几个。第一,$S$是科学空间域名的开头,也是英文名称Scientific Spaces的开头;第二,$S$是物理中的作用量的习惯简写,而作用量是我非常喜欢的物理表述形式;同时也就是路径积分的相位函数了。特别地,S还是我姓氏“苏”的首字母。

阅读剩余部分...

15 Jun

【备忘】访问Google的几个方式

不多说了,我只想喊“无谷歌不搜索”!

http://www.googlestable.com
http://g.ttlsa.com
http://www.favyun.com/s.html
4 Jun

【备忘】访问Google的方法(更新)

6月13日:更新了一个新的可用IP,不知道能够用多久。

以前大家顶多看到利用这个技巧访问facebook、youtube之类的网站,现在无奈到连Google都得用这个方法访问了。

近日,笔者发现直接输入http://www.google.com.hk无法访问Google搜索,要知道对于学术来说,没有Google是多么严重的事情,很多有用的学术资料,尤其是外文资料,都得靠Google来搜。主观性来说,在学术方面,百度不可能赶得上Google,望其项背都不可能。

阅读剩余部分...

19 Jan

宇宙驿站服务器升级完毕

这一周科学空间时断时续的,原因是原来的服务器两个内存条坏了,内存不够用。

后来天文台决定给我们换一台服务器,这两天主要在转移数据,从而不能访问。

目前,基本上已经转移好了,服务器升级工作基本完成。新服务器的升级,CPU从原来的8核升级为48核,内存从16GB升级为64GB。再次感谢国家天文台宇宙驿站给予我们的服务^_^感谢各位技术人员的努力,让我们一起把中文科普事业做得更好~

27 Apr

[备忘]历史天气查询

天气预报查询我相信大家用过不少了,如果精度要求不高,那么随便打开谷歌输入“城市名+tq”就可以查询到了。可是你有没有想过过去的天气怎么查询呢?比如我要研究最近十年的气候变化,我想得到最近十年每天的天气数据(最高温、最低温等等),那要怎么查呢?

我在很早以前就想查询到这些数据,但是在网上随便搜索了一下,无果,所以一直搁置着。前两天一个同学问我同样的问题,所以就查找了一番,功夫不负有心人,终于找到了。原来关键字应该是“历史天气查询”(之前我搜索了很多关键字,比如“气象数据下载”、“气象统计”等等,都没有搜索到有用的结果)。

一个支持历史天气查询的中文网站是:
http://lishi.tianqi.com/

阅读剩余部分...

5 Feb

[公告]评论功能说明

本站使用typecho作为blog程序,这个程序本身的防评论灌水机制不强,需要安装一些插件才可以有效防止机器人灌水。
为了方便与读者的交流,我决定不再采用各种验证码插件,而直接使用评论过滤。规则如下:

1、全英文的评论内容将导致评论失败!
2、有禁止词语的评论将会失败!
3、带有http的评论内容将会进入“审核”而暂时不能显示,等我审核通过了就可以显示了。

第三种情况对于一般读者来说比较常见,所以如果遇到提交评论后却没有显示,请不要重复提交!因为评论失败会有明确显示的。

谢谢!

23 Jan

校外通过VPN通道访问华师资源

在学校使用校园网时,是很容易访问到华师内部的各个网站的,比如教务系统、图书馆电子资源等,但是如果使用校外网或者是在家时就不那么容易了。另外一种情况是,期末同学回家了,很想早点知道成绩,一般我们会上http://jwc.scnu.edu.cn查询,这个网站在校内校外都可以登陆,但是通常来说为了成绩的录入,会把成绩查询功能关闭掉一段时间,事实上,大部分的成绩都已经录入了。在校园网时,心急的朋友可以访问http://222.201.93.5:211来查询,可是这个网址在校外是不能用的。VPN通道就是为这些校外需求而开通的。

使用方法很简单,打开
https://121.8.171.37/
输入校园卡的账号密码登陆就行了。登录后就会出现校内网的各种链接,包括图书馆资源、教务系统等等。

阅读剩余部分...