python爬取bilibili编程区的视频信息
本帖最后由 牵手丶若相惜 于 2020-11-12 17:06 编辑仅限学习！仅限学习！！仅限学习！！！
为了爬虫不影响别人的服务器我每爬取一页等待了3秒 这是必要的
评分！！！评分！！！评分！！！谢谢{:301_975:}
——————————————————————
有人说代码有问题 我就看了一下 最开始以为自己复制的时候忘改了
但是现在发现 是发帖的这个编辑器把我的information【i】转义成一种字体了
你仔细看看就会发现 那个地方的代码字体都不一样
现在改过来了 我把information【i】改成information了
（只能用中文的中括号 来告诉你们哪里错了,不然还是会转义）
——————————————————————
刚开始以为bilibili对爬虫很友好，没有反爬机制，结过踩了两个坑 写入时长的时候故意重新开了一行 方便自己看
数据太多截图没显示完 具体可以看代码 上面有我写入的数据都是什么
（抓取的位置和信息还有踩坑的图在下面））
第一个是：一开始抓取的网页是假的，没发现 结果返回的数据不对，多点两页就看出来了
第二个是：它返回的数据是字符串 不是json格式的 输出一下就看出来了
代码如下：
import requests
import json
import time
# 网址
url = "https://api.bilibili.com/x/web-interface/search/all/v2"
# 浏览器代{过}{滤}理
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36",
"referer": "https://api.bilibili.com/x/web-interface/search/all/v2?context=&page=1&order=&keyword=%E7%BC%96%E7%A8%8B&duration=&tids_1=&tids_2=&__refresh__=true&highlight=1&single_column=0&jsonp=jsonp&callback=__jp2"
}
# 网页后缀
parameters = {
"context": "",
"page": "3",
"order": "",
"keyword": "编程",
"duration": "",
"tids_1": "",
"tids_2": "",
"__refresh__": "true",
"search_type": "video",
"highlight": "1",
"single_column": "0",
"jsonp": "jsonp",
"callback": "__jp1",
}
# 格式化时间戳 转换成时间格式
def Transformation_time(pud_times):
timearray = time.localtime(pud_times)
format_time = time.strftime("%Y-%m-%d %H:%M:%S", timearray)
return format_time
# 去除数据中的多余的杂乱字符
def data_fromat(data):
limit = ["#", "；", "，", " ", "【", "】", "\n", "\t", '\r' ,'<emclass="keyword">', "</em>"]
# 遍历分隔符 替换成空
for i in limit:
data = data.replace(i, "")
return data
# # 筛选数据并写入
def screening_data(data):
# 每一页的所有数据都在这个数组里
information = data["data"]["result"]["data"]
for x in range(len(information)):
with open("d:/bilibili_programming1.txt","a",encoding="utf-8") as file:
file.write(("up主："+information["author"]+"\t"))
file.write(("url："+information["arcurl"]+"\t"))
# 调用data_fromat剔除多余字符
file.write(("标题："+data_fromat(information["title"])+"\t"))
# 调用data_fromat剔除多余字符
file.write(("描述：" + data_fromat(information["description"]) + "\t"))
file.write(("播放量：" + str(information["play"]) + "\t"))
file.write(("弹幕量：" + str(information["video_review"]) + "\t"))
file.write(("收藏量：" + str(information["favorites"]) + "\t"))
file.write(("标签：" + information["tag"] + "\t"))
file.write(("评论量：" + str(information["review"]) + "\t"))
# 转换成时间格式
file.write(("发布日期：" + Transformation_time(information["pubdate"]) + "\n"))
file.write(("时长(分)：" + str(information["duration"]) + "\n"))
if __name__ == '__main__':
for i in range(1, 51):
if i >= 2:
headers["referer"] = "https://api.bilibili.com/x/web-interface/search/all/v2?context=&page="+str(i-1)+"&order=&keyword=%E7%BC%96%E7%A8%8B&duration=&tids_1=&tids_2=&__refresh__=true&highlight=1&single_column=0&jsonp=jsonp&callback=__jp2"
parameters["page"] = i
# 获取的数据转成text然后去除多余字符，再从转成json格式
datas = json.loads((requests.get(url,params=parameters,headers=headers).text).replace("__jp1(","").replace(")",""))
screening_data(datas)
time.sleep(3)
Traceback (most recent call last):
File "E:/python小课/爬取bilibili编程区.py", line 73, in <module>
screening_data(datas)
File "E:/python小课/爬取bilibili编程区.py", line 51, in screening_data
file.write(("up主："+information["author"]+"\t"))
TypeError: list indices must be integers or slices, not str
>>> 出现如上错误提示，楼主分析。。谢谢 D:\Python>python bilibili.py
Traceback (most recent call last):
File "bilibili.py", line 73, in <module>
screening_data(datas)
File "bilibili.py", line 51, in screening_data
file.write(("up主："+information["author"]+"\t"))
TypeError: list indices must be integers or slices, not str
这是什么情况？ 太感谢了，正需要这个呢。谢谢！ 本帖最后由 牵手丶若相惜 于 2019-11-27 19:38 编辑
itcfan 发表于 2019-11-26 15:46
D:\Python>python bilibili.py
Traceback (most recent call last):
File "bilibili.py", line 73, in...
有些代码被转义成字体了 本帖最后由 牵手丶若相惜 于 2019-11-27 19:38 编辑
yjn866y 发表于 2019-11-26 19:37
Traceback (most recent call last):
File "E:/python小课/爬取bilibili编程区.py", line 73, in
...
有些代码被转义成字体了 本帖最后由 牵手丶若相惜 于 2019-11-27 19:38 编辑
yjn866y 发表于 2019-11-26 19:37
Traceback (most recent call last):
File "E:/python小课/爬取bilibili编程区.py", line 73, in
...
现在已经修改 本帖最后由 yjn866y 于 2019-11-27 20:22 编辑
看到了，，谢谢楼主，，试试 牵手丶若相惜 发表于 2019-11-27 18:59
有些代码被转义成字体了
发贴时，使用“添加代码文字”功能，这样就不会转义了。 你只需要把callback这个参数删掉就行了，最后应该是jsonp=jsonp 这样就不会有_jp1了，可以直接用request的json方法，而无需引入json模块。。。。
页:
[1]
2