python
这是第二次发帖（水贴 求助帖不算在内）还有一个问题我用这个idle 写的 （见捕获.jpg） 无论是注释还是字符串出现中文就会出现无法保存的现象呢
之前用的也是 但是没有这样问题的 但是前一阵硬盘坏了 重新下 就有问题了 有知道的大佬请赐教呢
正文做了一个 爬取 一个tupianzy的图片的小爬虫主要是反爬不强而且我还需要积分升级
里面的 useragent需要还你自己 的页码范围呢可以改 我设了延时一秒给个积分.gif
import time
def donext():
import requests
from bs4 import BeautifulSoup
import re
from getapic import getone
referer='https://www.tupianzj.com/meinv/xinggan/'
url = 'https://www.tupianzj.com/meinv/xinggan/list_176_'+str(num)+'.html'
headers = {
'cookie': 'Hm_lvt_2311e8dc240a647bd81bf77808b3ac51=1598757084; Hm_lpvt_2311e8dc240a647bd81bf77808b3ac51=1598757245; Hm_lvt_c08bad6ac66a035b30e72722f365229b=1598758817; Hm_lpvt_c08bad6ac66a035b30e72722f365229b=1598772585',
'referer': referer,
'user-agent': '这个要换你自己的用我的你也用不了 '
}
r = requests.get(url = url,headers = headers)
soup = BeautifulSoup(r.content,'lxml')
with open('21.txt','w') as f:
f.write(str(soup))
f.close
ul = soup.find('ul',class_='list_con_box_ul')
links = re.findall('src="(.*?)"',str(ul))
for i in links:
i = i.replace('rn','')
getone(i)
num = 1
#num就是下载的起始页下一行的50是终止页 两个数字随便改动的别太离谱就可以
for num in range(50):
donext()
num= num +1
time.sleep(1)
print(str(num)+'gewangyetupian')
user-agent都可以通用。cookie就不一样了，楼主正好弄错了:eee 所以你这个标题和图片是怎么过审的 挑灯看花 发表于 2020-8-30 18:05
user-agent都可以通用。cookie就不一样了，楼主正好弄错了
正解，而且cookie也能用吧{:1_926:}只不过用着别人的信息 Zeaf 发表于 2020-8-30 19:15
正解，而且cookie也能用吧只不过用着别人的信息
一直用一个cookie请求很容易就判断为爬虫了 Zeaf 发表于 2020-8-30 19:15
正解，而且cookie也能用吧只不过用着别人的信息
哈哈学到了学到了 学习了学习了！ 挑灯看花 发表于 2020-8-30 18:05
user-agent都可以通用。cookie就不一样了，楼主正好弄错了
收到 感谢回复大爷有空常来玩啊 爬妹子高手
页:
[1]