Skip to content
This repository has been archived by the owner on Jul 29, 2022. It is now read-only.

Latest commit

 

History

History
22 lines (10 loc) · 605 Bytes

README.md

File metadata and controls

22 lines (10 loc) · 605 Bytes

说明

专门针对微博相关数据进行抓取的爬虫

抓取微博消息

使用 ajax 而非 selenium 抓取,效率有保证,简单的代理切换,代码量不大,易于理解

抓取微博用户个人信息

基于上面的爬虫,非常简单,只是抓取用户个人信息页面而已

尝试用 node 写爬虫

尝试使用 node 编写爬虫,但是被异步 IO 给干死了,也算是帮助我理解一下异步 IO 吧

尝试组件化爬虫

又一次尝试组件化爬虫,算是慢慢在进步吧,这里是初步使用 ajax,爬虫并不是很好