安装Scrapy：

通过pip install scrapy即可安装。

注意：

在ubuntu上安装scrapy之前，需要先安装以下依赖：

sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev，然后再通过pip install scrapy安装

如果在windows系统下，提示这个错误ModuleNotFoundError: No module named ‘win32api’，那么使用以下命令可以解决：pip install pypiwin32

创建项目：

要使用Scrapy框架创建项目，需要通过命令建立项目，首先进入项目存放路径，然后通过命令进行创建

项目结构(初始文件)：

Scrapy.cfg：

项目的配置文件

Spiders：

所有的爬虫目录

Items.py：

存储所有爬取数据的模型

Middlewares.py：

中间件

Pipelines.py：

用于处理爬虫爬取下来的数据的

Settings.py：

设置爬虫，有默认的请求头，是否开启cookie，是否下载前需要延迟等等

利用命令生成爬虫：

进入spider文件夹后

Scrapy genspider qsbk(爬虫名称) “qiushibaike.com”(限定爬取的域名)

Spider文件夹下就会自动生成爬虫文件