基于Scrapy框架爬虫淘宝列表图片和店铺名

qq58452077

                              爬虫使用教程
一.安装python2运行环境   
1.可以去官网下载
a)     . https://www.python.org/downloads/      
            
2.文件夹里     

二．配置window环境变量
1.          
            
   2.网上有详细安装说明
https://jingyan.baidu.com/article/7908e85c78c743af491ad261.html        
三.安装python2第三方库
1.使用python自带包管理器pip安装
         pip install Scrapy
         pip install Django==1.8.2
         pip install selenium
         pip install image
2.安装py2win32库
这个是二级制文件  
   
  也是可以用pip install pypiwin32 安装
四.修改项目配置
  
            
               
修改settings.py文件  
              
1.修改谷歌浏览器驱动目录      
CHROMEDRIVER_PATH= r"D:\Program Files (x86)\Browser\Chrome\chromedriver.exe"     
2.修改谷歌浏览器安装运行文件      
CHROMEBIN_PATH =r"D:\Program Files (x86)\Browser\Chrome\Chrome.exe"
         
            
      
      
修改文件图片存放路径  IMAGES_STORE ="E:\home"
五．运行项目      
  进入文件夹
  
  按shift+右键点击在此处打开命令窗口  
     Python  cmdline.py

      
             taobaoSpider.rar (23.16 KB, 下载次数: 45)

2018-7-22 11:42 上传

点击文件名下载附件

            其他附件下载（python2，pywin32，Chrome（包含selenium驱动））
            链接: https://pan.baidu.com/s/1kzkT3IGQdlC6EuZKmaM1qQ 密码: 8agm
         

      （楼主还是一方式基于Splash框架爬虫,此方式需要搭建docker虚拟环境来运行）
       以上两个方式大概不会被反爬虫机制所限制

           此爬虫仅供学习和参考（如有api版本方式爬虫望告知楼主）
      




       新人发帖，坛友们多多支持！！！！！


       望大佬指点指点!!!
      

      
   
         
            

zrl201314

大佬  你说的 基于Splash框架爬虫,此方式需要搭建docker虚拟环境来运行 这个方法怎么实现的,求分享套路 谢谢

苏紫方璇

楼主的爬虫代码呢

sdlwqzk

很有兴趣 关注一下~

qq58452077

苏紫方璇 发表于 2018-7-22 11:37
楼主的爬虫代码呢

已经上传了。。

隰则有泮

楼主的id 很危险啊0.0

过河的靴子

挺详细的教程，很适合小白

qq58452077

过河的靴子 发表于 2018-7-22 18:27
挺详细的教程，很适合小白

还好。还好！！！  

天台

感觉不错 先存下来了 晚上运行一下试试

水泥工艺学

很有兴趣 关注一下~