Settings文件:

可以用于存储公告信息,比如数据库连接等等

最大并发请求:

下载延迟:

DOWNLOAD_DELAY可以配合下面2个来使用也可以单独使用

CONCURRENT_REQUESTS_PER_DOAMIN每个域名的并发数

CONCURRENT_REQUESTS_PER_IP每个IP的并发数

是否开启Cookies:

默认是开启的

默认请求头:

HTTP缓存:

在其他文件中使用settings中的属性:

Pipeline文件:

def open_spider(self, spider)和def close_spider(self, spider)分别在爬虫开启和结束的时候会执行一次,可以用于文件打开等等操作