多线程/进程爬虫

  • bojack
  • 504 次点击

多线程/进程爬虫

最近想学一下多线程/多进程爬虫,多线程和多进程看网上的demo觉得不难理解。但是想用在爬虫里的话,有点迷糊,程序的结构应该怎么写,爬虫中怎么用到多线程或多进程,一般好像都涉及Queue队列,望有写过的朋友指点指点。

  • 1 条回复 | 1 人参与
  • snwgi # 1

    可以试试scrapy

添加一条新回复
登录 或者 注册 后发表回复