thepoy 发表于 2019-8-1 11:37

「Scrapy初学者」有个链接响应为空

刚开始学习这个神奇的工具,用到的第一个链接就遇到了问题。

# -*- coding: utf-8 -*-
import scrapy
import re


class StocksSpider(scrapy.Spider):
    name = 'stocks'
    #allowed_domains = ['https://www.aigupiao.com/Quote/stock_market?code=']
    start_urls = ['http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/1/ajax/1/']

    def parse(self, response):
      print('------------------这是测试-------------------')
      for i in response.css('tbody td.c-rise::text'):
            print(i.extract())


半天过去才发现是链接的问题:


请问这个问题应该怎么处理呢?

wuyoukm 发表于 2019-8-1 11:48

先测一下 状态码 再测试一下 输出html 再测试xss语句 这是思路,你参照一下

lc11535 发表于 2019-8-1 12:15

不明觉厉,帮忙点赞{:1_89 3:}{:301_995:}@wuyoukm

thepoy 发表于 2019-8-1 13:28

wuyoukm 发表于 2019-8-1 11:48
先测一下 状态码 再测试一下 输出html 再测试xss语句 这是思路,你参照一下

状态码没问题,但是scrapy输出的body跟实际是不同的。
正常如下:


scrapy得到的response.body如下:

ufo0033 发表于 2019-8-1 14:33

百度 爬取javascript 渲染的网页
页: [1]
查看完整版本: 「Scrapy初学者」有个链接响应为空