小白初学post发现不能用求救

过往233 · 发表于 2022-11-12 17:10

想抓超星的课程列表，然后发现python可以，学习了不少代码，但是看不懂cooki该怎么保存
import requests
url = "https://passport2.chaoxing.com/fanyalogin"
url2 = "http://i.mooc.chaoxing.com"
data = {"uname":"1231231231","password":"789798798","client":0}
headers= {
"content-type": "application/x-www-form-urlencoded; charset=UTF-8",
'Cookie': '' }
session = requests.Session()
res = session.post(url=url,data=data, headers=headers)
print(res.text)
r1 = requests.get(url=url2,data=data, headers=headers)
print(r1.text)
我post一下发现是可以正常使用的，但是我get不到他跳转到页面，get出来还是登录的页面，难道是要用cooki带着get一起去访问吗，求助一下

woflant · 发表于 2022-11-12 17:23

使用request.session持久性会话
第二次连接没有使用session

zzf8264 · 发表于 2022-11-12 17:27

headers= {
"content-type": "application/x-www-form-urlencoded; charset=UTF-8",
'Cookie': '这里得写cookie啊' }

过往233 · 发表于 2022-11-12 17:28

zzf8264 发表于 2022-11-12 17:27
headers= {
"content-type": "application/x-www-form-urlencoded; charset=UTF-8",
'Cookie': '这里得写 ...

这里写了cooki了，额，我为了隐私所以没打

jidesheng6 · 发表于 2022-11-12 17:29

你的session写错了吧；而且为什么第二次不带着session

过往233 · 发表于 2022-11-12 17:31

额经过大佬提升现在把session改回来了但是现在是乱码。。。。。<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>æ¨ææμè§ç       è½è®¿é®</title>
<style>       é¡μéæ¶ä¸
/* CSS Document */
*{margin:0;padding:0;}
body{font:12px/1.5 å®ä½,Arial, Helvetica, sans-serif;color:#333;}
table{width:100%; border-collapse:collapse;border:none;border-spacing:0;}
ul li{list-style:none;}
a{text-decoration:none;color:#333}
img{border:none;}
input,select{vertical-align:middle;}
.left{float:left;}
.right{float:right;}
.clearfix{overflow:hidden;zoom:1}/*çæ￥åå¨éè|èˉ·æμ®å¨ç
                                                   divä¸ç
                                                         */
.clear{clear:both;}

/*404é¡μéa/
.main{height:255px;margin:0 auto;margin-top:15%;font-size:16px;color:#999;text-align:center}
.font_top{padding-top:45px;display:inline}
.inp_left{margin-top:40px;background:url(../images/inp_left.gif) no-repeat left bottom;padding-left:10px;width:218px}
.inp_bg{width:172px;height:23px;background:url(../images/inp_bg.gif) no-repeat left top;border:none;padding:1px 2px;color:#CCC;line-height:23px;overflow:hidden}
.sub_bg{width:42px;height:25px;background:url(../images/sub_bg.gif) no-repeat;border:none;cursor:pointer}
.main_right{display:inline-block;text-align:left;*display:inline;zoom:1; vertical-align:top;padding-top:45px;padding-left:70px}

/*æ æéa/
.NoPermission{text-align:center;margin-top:10%}
.NoPermission p{font-size:16px;line-height:24px;margin-top:39px;color:#999999;}
</style>
</head>

<body>
<div class="main">
<img src="/images/common/bg404.gif" width="277" height="244"/>
<div class="main_right">
<p class="font_top">å¾æ±æ-ï¼æ¨ææμè§ç       è½è®¿é®ï¼</p>
</div>                               é¡μéæ¶ä¸
</div>
</body>
</html>

zzf8264 · 发表于 2022-11-12 17:31

过往233 发表于 2022-11-12 17:28
这里写了cooki了，额，我为了隐私所以没打

看你的代码，我看是个登录的例子，有些网页，先访问会返回一个cookie，然后拿这个cookie去登录，还会返回一些cookie，你看看登录成功返回的cookie

过往233 · 发表于 2022-11-12 17:41

zzf8264 发表于 2022-11-12 17:31
看你的代码，我看是个登录的例子，有些网页，先访问会返回一个cookie，然后拿这个cookie去登录，还会返回 ...

Set-Cookie: fid=3194; Domain=.chaoxing.com; Expires=Mon, 12-Dec-2022 09:36:31 GMT; Path=/
Set-Cookie: _uid=248679189; Domain=.chaoxing.com; Expires=Mon, 12-Dec-2022 09:36:31 GMT; Path=/

我看到他响应标头返回了好多cooki，要把他们一起带入刀get里面吗

zzf8264 · 发表于 2022-11-12 17:42

过往233 发表于 2022-11-12 17:41
Set-Cookie: fid=3194; Domain=.chaoxing.com; Expires=Mon, 12-Dec-2022 09:36:31 GMT; Path=/
Set-Coo ...

登录成功之后一般会返回一点东西的，不是cookie 就是返回值的一些东西你看看就知道了

Prioritize · 发表于 2022-11-12 17:43

你如果要爬取的话我建议直接用post 我刚才试了试用post成功了，你可以看看我发的博文，有教你怎么爬虫

帐号		自动登录	找回密码
密码			注册[Register]

[求助] 小白初学post发现不能用求救