项目包含基于zhihu-python的多线程爬虫,数据I/O(SQLite,csv),以及基于用户关注网络的分析(使用networkx作为图算法库)。
注:本项目所使用的zhihu-python已与原版存在差异
crawler文件夹:爬虫部分,以广度优先策略爬取知乎数据,并以csv格式储存(这一部分代码目前版本有误,爬到的数据文件与zhihu_database.py无法衔接,此外存在topic爬漏的问题,待修复)zhihu_schema.sql:SQLite数据库的schemazhihu_database.py:将csv中的数据导入至数据库中zhihu_analysis.py:从数据库中提取数据并进行分析
- Dataset
- 中文
- English