起点跑不起来换了一个网站练手crawlspider 正则还是不会用还是xpaths跑起来的

lihu5841314 发表于 2021-5-31 19:40

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class KsSpider(CrawlSpider):
name = 'ks'
allowed_domains = ['sxcnw.net']
start_urls = ['http://www.sxcnw.net/xuanhuan/List_1.html']

rules = (
   Rule(LinkExtractor(restrict_xpaths='//ul[@class="listcon"]/li/a'), callback='parse_item'), #到最后一个标签比如这个a标签之后不要自己往下去取url坑了我好久rules会自动提取最后一个标签里的url
   Rule(LinkExtractor(restrict_xpaths='//div[@class="showpage"]/a'),follow=True),
)

def parse_item(self, response):
   item = {}
   item['book_name'] = response.xpath('//div[@class="book-title clear"]/h1/text()').extract()
   item['content'] = response.xpath('//div[@class="about-txt"]//text()').extract()
   item['book_down'] = response.xpath('//div[@class="dl-to-pc"]/a/@href').extract_first()
   print(item)
   return item

lihu5841314 发表于 2021-5-31 19:49

mysql和manggopandasweb前端该先看那个又没建议的小白零基础

satukenny 发表于 2021-5-31 20:07

谢谢分享

zuijianren 发表于 2021-5-31 20:08

自学的话，我觉得先搞前端好，上手快，兴趣起得来，sql语句前期会几句简单的就好，搜都能搜得到。
前端学了，你能自己写个小插件小网站什么的，很有成就感的，个人体验。

lihu5841314 发表于 2021-5-31 20:10

zuijianren 发表于 2021-5-31 20:08
自学的话，我觉得先搞前端好，上手快，兴趣起得来，sql语句前期会几句简单的就好，搜都能搜得到。
前端学 ...

关键好学不前期学pygame 坑了我半个月只能做得破飞机还老出BUG

zuijianren 发表于 2021-5-31 20:16

lihu5841314 发表于 2021-5-31 20:10
关键好学不前期学pygame 坑了我半个月只能做得破飞机还老出BUG

你说的是这个前端啊，那我不知道了，我python不熟

darling995 发表于 2021-5-31 20:52

以前学了一段时间，但是没学会{:1_937:}

1039468583 发表于 2021-5-31 21:58

zuijianren 发表于 2021-5-31 20:16
你说的是这个前端啊，那我不知道了，我python不熟

可以熟悉一下h5 js css 那些然后配合python的Django 写出一个网站

艾破解 发表于 2021-5-31 21:59

zuijianren 发表于 2021-5-31 20:08
自学的话，我觉得先搞前端好，上手快，兴趣起得来，sql语句前期会几句简单的就好，搜都能搜得到。
前端学 ...

是吗是吗，感觉会好有趣

a525 发表于 2021-5-31 22:46

lihu5841314 发表于 2021-5-31 19:49
mysql和manggopandasweb前端该先看那个又没建议的小白零基础

没有一个具体方向吗？

页: [1] 2

吾爱破解 - 52pojie.cn's Archiver

起点跑不起来 换了一个网站练手crawlspider 正则还是不会用还是xpaths跑起来的

起点跑不起来换了一个网站练手crawlspider 正则还是不会用还是xpaths跑起来的