起点跑不起来 换了一个网站练手crawlspider 正则还是不会用还是xpaths跑起来的

lihu5841314

[Asm] 纯文本查看 复制代码

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class KsSpider(CrawlSpider):
    name = 'ks'
    allowed_domains = ['sxcnw.net']
    start_urls = ['http://www.sxcnw.net/xuanhuan/List_1.html']

    rules = (
        Rule(LinkExtractor(restrict_xpaths='//ul[@class="listcon"]/li/a'), callback='parse_item'),   #到最后一个标签比如这个a标签之后不要自己往下去取url  坑了我好久  rules会自动提取最后一个标签里的url
        Rule(LinkExtractor(restrict_xpaths='//div[@class="showpage"]/a[position()>1]'),follow=True),
    )

    def parse_item(self, response):
        item = {}
        item['book_name'] = response.xpath('//div[@class="book-title clear"]/h1/text()').extract()
        item['content'] = response.xpath('//div[@class="about-txt"]//text()').extract()
        item['book_down'] = response.xpath('//div[@class="dl-to-pc"]/a/@href').extract_first()
        print(item)
        return item

lihu5841314

mysql  和  manggo  pandas  web  前端  该先看那个又没建议的  小白零基础

satukenny

谢谢分享

zuijianren

自学的话，我觉得先搞前端好，上手快，兴趣起得来，sql语句前期会几句简单的就好，搜都能搜得到。
前端学了，你能自己写个小插件小网站什么的，很有成就感的，个人体验。

lihu5841314

zuijianren 发表于 2021-5-31 20:08
自学的话，我觉得先搞前端好，上手快，兴趣起得来，sql语句前期会几句简单的就好，搜都能搜得到。
前端学 ...

关键好学不  前期学pygame 坑了我半个月  只能做得破飞机  还老出BUG

zuijianren

lihu5841314 发表于 2021-5-31 20:10
关键好学不  前期学pygame 坑了我半个月  只能做得破飞机  还老出BUG

你说的是这个前端啊，那我不知道了，我python不熟

darling995

以前学了一段时间，但是没学会

1039468583

zuijianren 发表于 2021-5-31 20:16
你说的是这个前端啊，那我不知道了，我python不熟

可以熟悉一下h5 js css 那些 然后配合python的Django 写出一个网站

艾破解

zuijianren 发表于 2021-5-31 20:08
自学的话，我觉得先搞前端好，上手快，兴趣起得来，sql语句前期会几句简单的就好，搜都能搜得到。
前端学 ...

是吗是吗，感觉会好有趣

a525

lihu5841314 发表于 2021-5-31 19:49
mysql  和  manggo  pandas  web  前端  该先看那个又没建议的  小白零基础

没有一个具体方向吗？