吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 938|回复: 7
收起左侧

[求助] python怎么在百度搜索表格里某个字段内容?

[复制链接]
szy521spy 发表于 2020-12-4 17:29
求助,目前有个任务,需要在网站上进行搜索,界面好比百度搜索。现在有一个表格,某个字段信息需要在网站上进行搜索,将搜索结果保存(可以任何格式)。一点思路都没有,各位大佬救命。。

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

leeqng 发表于 2020-12-4 17:41
同求啊,请大神分享,谢谢
小小宇6 发表于 2020-12-4 17:42
kof21411 发表于 2020-12-4 17:45
一个简单的例子
[Python] 纯文本查看 复制代码
import time
import requests
from lxml import etree


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}

# proxies = {
   # "http":"http://127.0.0.1:1080","https":"https://127.0.0.1:1080"
# }
 
def get_url(url):
    r2=requests.get(url,headers=headers).url
    with open('url.txt','a') as f:
        f.write(r2+'\n')
 
if __name__ == '__main__':
    page=0
    requests.adapters.DEFAULT_RETRIES = 500
    while True:
        try:
            if page == 5000:
                break
            url="https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd=inurl:'asp?id=1'&pn=%s"%page
            print(url)
            r=requests.get(url,headers=headers)
            html = etree.HTML(r.content)
            pnnext = html.xpath('//*[@id="page"]/div/a[@class="n"]/@href') #获取下一页节点
            if pnnext: #判断节点是否存在,存在即继续
				div = html.xpath('//h3[@class="t"]/a/@href') #搜索结果
				for i in div:
					# print(i)
					get_url(i) #写入url
            else:
				print('nopnnext')
				break
            page+=10
        except Exception as e:
            print(e) #输出错误
            print(time.strftime("%H:%M:%S"))
        time.sleep(3)
Wang5201314 发表于 2020-12-4 17:49
抓个网站API   遍历表格   去请求API
头像被屏蔽
懒人智能助手 发表于 2020-12-4 18:15
提示: 作者被禁止或删除 内容自动屏蔽
头像被屏蔽
jun5253558 发表于 2020-12-4 18:17
提示: 作者被禁止或删除 内容自动屏蔽
fortytwo 发表于 2020-12-4 18:51
倒是说什么网站啊。这些信息不够
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-29 21:49

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表