Super Proxy

好风 发表于 2017-08-23T14:50:37.228324Z
引用地址:https://plus.ooclab.com/note/article/1383

数据采集的代理问题,应该由一个 Super Proxy 服务统一解决:

  1. client 只需访问一个稳定的“代理”服务地址,服务端挑选合适的路径
  2. 服务端管理代理、会话等

相关服务

  • https://scrapinghub.com/ (scrapy cloud 官方)
  • https://luminati.io (我认为很像我理解的 super proxy 模式,奈何太贵)
  • https://www.proxyrack.com/
  • https://github.com/wenson/proxypool (可以收集公共的代理)