Scrapy爬取猫眼流浪地球影评1----- 安装配置Scrapy

py看考场

心血来潮，想发一个关于python爬虫的文章，因为之前刚好爬过流浪地球影评，而且猫眼一般情况下不会有反爬措施，所以爬起来比较顺手。爬取工具就用Scrapy吧,因为其自带加速buff。

首先安装和配置一下scrapy,大佬可以绕过,看看下两个帖子。
传输门   scrapy爬取数据   数据可视化

一.安装scrapy模块
以下是在windows中的安装过程,scrapy依赖的库比较多,如lxml、pyOpenSSL、Twisted
1.首先，升级pip : python -m pip install --upgrade pip(进入cmd命令行界面)


2.安装wheel : pip install wheel


3.下载安装lxml 下载地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
注：下载对应python版本和位数的.whl文件
首先cmd模式下输入python,查看相关信息

下载与信息相匹配的文件

安装lxml文件
pip install lxml-xxx.whl， lxml-xxx.whl指的是你下载的lxml安装文件名字


4.下载安装Twisted 下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
注：下载对应python版本和位数的.whl文件
和第三步一样

安装twisted文件
pip install twisted-xxx.whl， twisted-xxx.whl指的是你下载的twisted安装文件名字

5.安装pyOpenSSL : pip install pyOpenSSL


6.最后安装scrapy:  pip install  scrapy


安装大功告成!


二.配置scrapy
1.win+R输入cmd进入命令行界面,输入e: 回车切换至E盘。输入scrapy -h查看scrapy的相关命令


2.用startproject命令创建一个新的项目名字为maoyan

此时在E盘中创建了名为maoyan的文件夹


3进入maoyan文件夹，用genspider命令创建一个爬虫文件comment.py

此时在spiders文件夹中会出现comment.py文件


4.用pycharm打开maoyan文件夹,进入主目录


5.打开settings.py文件，修改robots.txt并把67-69之间的代码取消注释，保存




至此，scrapy配置成功!


写作不易，希望大家给个热心吧，多谢啦
明天再介绍猫眼电影影评的爬取，晚安~~~

gety

好评！加油！

py看考场

gety 发表于 2019-3-17 15:20
好评！加油！

感谢支持

pbcleo

期待你继续下去。

py看考场

pbcleo 发表于 2019-3-19 06:22
期待你继续下去。

感谢支持

kabin

anaconda里安装lxml报错，下面的操作无法进行，不知道哪里错了

kabin

稀里糊涂的又都安装成功，下午报错 的问题，没再出现

wnofxw

学习了，非常好的爬虫

zhuwaihui

学习了 学习了最近就在学习scrapy

mhf0226

学习学习！多谢楼主分享！