Skip to content

daisymilo/sogou_weixin

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

sogou_weixin

通过爬虫获取某个关键词下的所有公众号文章全文,然后编写一个简易的查重算法,筛选出微信公众号上不重复的文章,降低人为筛选的工作量。

持续更新中...

模块介绍

links_crawler.py 用于爬取搜狗搜索中某个关键词下的所有微信公众号文章链接,参见:Python爬虫—优雅地获取微信公众号文章(一)https://mp.weixin.qq.com/s/69cyvI30_ITRbAlh-RM1mg

About

通过爬虫获取某个关键词下的所有公众号文章全文,然后编写一个简易的查重算法,筛选出微信公众号上不重复的文章,降低人为筛选的工作量。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages