网站 › 『编程语言讨论求助区』 › 学习python爬虫时报错，求救大佬

tsu.xxw 发表于 2021-4-9 08:41

学习python爬虫时报错，求救大佬

小弟在学习爬虫时，跟着b站教程一步一步走，但是运行之后却报错，仔细对比了下代码依旧报错，在网上查了下，有说想要换一下requests库就行的，但是我换了之后依旧没用
苦恼，希望大佬解救一下，已经引入了urllib.request和parse库

麦子1995 发表于 2021-4-9 08:41

sunhao044 发表于 2021-4-9 08:48

试试把‘’User-Agent‘’: 与‘’Mozilla之间的空格删掉，一般复制的都带有空格

tsu.xxw 发表于 2021-4-9 08:50

麦子1995 发表于 2021-4-9 08:41
import requests

引入requests又试了一遍，成功了，感谢，可是原来的为什么会报Bad Request的错呢，教程里就没有报错，还望指导{:1_932:}

tsu.xxw 发表于 2021-4-9 09:01

sunhao044 发表于 2021-4-9 08:48
试试把‘’User-Agent‘’: 与‘’Mozilla之间的空格删掉，一般复制的都带有空格

删除了还是没用哇大佬，依旧400报错

yuan-0.0 发表于 2021-4-9 09:02

tsu.xxw 发表于 2021-4-9 09:11

yuan-0.0 发表于 2021-4-9 09:02
爬虫肯定要用到request包,你上面导包也没有看到

小弟刚接触爬虫，不知道都要引用requests，可是教程上就可以正常模拟访问网页

也是只引入了urllib.request和urllib.parse

小弟现在非常想知道这个400报错因为啥{:1_932:}

shqk17 发表于 2021-4-9 09:14

400不是参数错误吗

gentlespider 发表于 2021-4-9 09:16

楼主不要被人误导了{:1_925:}看下源码就知道咋回事了。你这里的问题出现在method参数这里，对应的值应该是大写的。如果不写method其实也可以的。
另外其实爬虫的话用requests确实不错，他是对urllib3的封装，原生的urllib库也可以，就是写起来会麻烦一点。
下面是他的源码截图：

tsu.xxw 发表于 2021-4-9 09:16

shqk17 发表于 2021-4-9 09:14
400不是参数错误吗

对啊，按道理我也把头部信息给打包了，用urllib.request.urlopen是可以正常访问网页的啊，他却报错了，头大，跟教程一模一样却报错了{:17_1072:}

查看完整版本: 学习python爬虫时报错，求救大佬