【新手】爬取吾爱精品软件模块

niebaohua

Python初学者 啥也不懂......
代码是按照看的视频照鼻子画瓢做的
大家可以帮忙改一下
应该没违规吧。。

给点免费评分吧

[Python] 纯文本查看 复制代码

import requests
from lxml import etree

headers = {"Mozilla/5.0": "(Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36"}

number = int(input("请输入你要爬取内容的页数："))
for i in range(1,number+1):
    next_url = "https://www.52pojie.cn/forum-16-%d.html" % i
    response = requests.get(next_url, headers = headers)
    url = "https://www.52pojie.cn/"
    html = response.content.decode("gb18030")
    text = etree.HTML(html)
    word_href = text.xpath('//a[@class="s xst"]/@href')
    word_title = text.xpath('//a[@class="s xst"]/text()')
    # 下一页  <a href="forum-16-2.html" class="nxt"  本来尝试直接通过下一页，不过好像出现问题了
    print("****" * 20 +"第"+str(i)+"页" + "****" * 20)
    for href,title in zip(word_href,word_title):
        print(title+"-----"*5+(url+href))
    #last_url = url+next_page

时空之外

niebaohua 发表于 2018-11-19 14:21
该怎么填呢  我是直接复制的网页上面的  求指教

niebaohua

时空之外 发表于 2018-11-19 14:19
headers里面写错了，兄弟。

该怎么填呢  我是直接复制的网页上面的  求指教

fake

楼主学习了

浩蛋

有点小6啊

niebaohua

浩蛋 发表于 2018-11-19 12:46
有点小6啊

谢谢夸奖  其实这些模块我也不太懂

hjdx001

Python这么牛逼，也想学学了

淮左名都

mark，学习一下

或许。

牛逼啊 胸DIE

浮尘云烟

不懂帮顶

yjian415

不错，666

madson

不懂也帮你顶一下。