用python爬取猫眼前100名电影名单

18382747915

废话少说，看代码：

[Python] 纯文本查看 复制代码

import re,requests
def maoyan(url,i):
     if i==0:
        i=40
     else:
        i = i - 10
     header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:62.0) Gecko/20100101 Firefox/62.0',
               'Host': 'maoyan.com',
               'Referer': 'http://maoyan.com/board/4?offset=%s'%i}
     date=requests.get(url,headers=header)
     html=date.text
     paiming=re.findall('<i class="board-index board-index-(.*?)">(.*?)</i>',html,re.S)
     mingcheng = re.findall('<p class="name"><a href="/films/(.*?)" title="(.*?)" data-act="boarditem-click" data-val="{movieId:(.*?)}">(.*?)</a></p>', html, re.S)
     zhuyan = re.findall('<p class="star">(.*?)</p>', html, re.S)
     shijian=re.findall('<p class="releasetime">(.*?)</p>',html,re.S)
     for i ,l in enumerate(mingcheng):
         name=l[1]
         pm=paiming[i][0]
         sj=shijian[i]
         zy=zhuyan[i].strip()
         print("--------------------------------")
         print("排名：第%s名"%pm)
         print("电影名称：%s"%name)
         print(zy)
         print(sj)

if __name__=='__main__':
    num=0
    while num<100:
        maoyan("http://maoyan.com/board/4?offset=%s"%num,num)
        num=num+10

18382747915

冼星海ksv 发表于 2018-9-28 14:40
没加代{过}{滤}理，爬多了可能会被屏蔽

那要看具体项目的，如果数据量大考虑代{过}{滤}理，像这种数据量是固定的，没必要

一笑懸命桑

lz用的python自带的idle吗

ixsec

  赞一个~~

2205

学习了。似乎还差一步写入文件。嘿嘿

諦覠

有没有php版的Python看不懂..

野山鸡

非常棒，值得参考一下

m0216

看不懂  好像很厉害的样子

comos

pyhon新闻与经济的有没有，

zdnyp

Python还是相对比较好上手的