Scrapyd常用API
Scrapyd常用API,Scrapyd常用API详解
爬虫接口IP:http://192.168.0.2:6800/
1、启动API(POST):
http://192.168.0.2:6800/schedule.json -d project=xxxspider -d spider=cplusplus -d word=[‘hahaha’] -d version=1.0.2
1 |
{"status": "ok", "jobid": "dcc25dda594b11e6b757fc4dd43b1961", "node_name": "ubuntu-16"} |
2、取消API(POST):
http://192.168.0.2:6800/cancel.json -d project=xxxspider -d job=6487ec79947edab326d6db28a2d86511e8247444(启动爬虫后,API返回任务ID号)
3、删除工程某版本API(POST):
http://192.168.0.2:6800/delversion.json -d project=xxxspider -d version=1470208884′
4、删除工程API(POST):
http://192.168.0.2:6800/delproject.json -d project=myproject
5、已经发布的工程列表:
http://192.168.0.2:6800/listprojects.json
6、已经发布的工程(xxxspider)中的爬虫列表:
http://192.168.0.2:6800/listspiders.json?project=xxxspider
7、已经发布的工程(xxxspider)的版本号:
http://192.168.0.2:6800/listversions.json?project=xxxspider
8、已经发布的工程(xxxspider)的任务清单,即状态(已结束、正在运行、准备启动):
http://192.168.0.2:6800/listjobs.json?project=xxxspider