豆瓣电影基本信息爬虫

代码如下：

import requests
from lxml import etree
#将目标网站上的页面抓去下来
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
    'Referer':'https://movie.douban.com/'
}
url = 'https://movie.douban.com/cinema/nowplaying/jiaozuo/'
resp = requests.get(url, headers=headers)
text = resp.text
#response.text返回的是一个经过解码的字符串，是str(unicode)类型
#response.content返回的是一个原生的字符串，直接从网页上抓取下来的，是bytes类型
 
#将抓取下来的数据根据一定的规则进行提取
html = etree.HTML(text)
ul = html.xpath("//ul[@class='lists']")[0]
lis = ul.xpath("./li")
movies = []
 
for li in lis:
    title = li.xpath("@data-title")[0]
    score = li.xpath("@data-score")[0]
    duration = li.xpath("@data-duration")[0]
    region = li.xpath("@data-region")[0]
    director = li.xpath("@data-director")[0]
    actors = li.xpath("@data-actors")[0]
    poster = li.xpath(".//img/@src")[0]
    movie = {
        'title': title,
        'score': score,
        'duration': duration,
        'region': region,
        'director': director,
        'actors': actors,
        'poster': poster
    }
    movies.append(movie)
 
for movie in movies:
    print(movie)

结果显示如下：

{'title': '海上钢琴师', 'score': '9.2', 'duration': '125分钟(中国大陆)', 'region': '意大利', 'director': '朱塞佩·托纳多雷', 'actors': '蒂姆·罗斯 / 普路特·泰勒·文斯 / 比尔·努恩', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2574551676.jpg'}
{'title': '大约在冬季', 'score': '5.3', 'duration': '125分钟', 'region': '中国大陆', 'director': '王维明', 'actors': '马思纯 / 霍建华 / 魏大勋', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2571441805.jpg'}
{'title': '冰雪奇缘2', 'score': '0', 'duration': '104分钟', 'region': '美国', 'director': '克里斯·巴克 珍妮弗·李', 'actors': '克里斯汀·贝尔 / 伊迪娜·门泽尔 / 乔什·加德', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2572847101.jpg'}
{'title': '你是凶手', 'score': '0', 'duration': '94分钟', 'region': '中国大陆', 'director': '王昱', 'actors': '王千源 / 宋佳 / 冯远征', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2573691764.jpg'}
{'title': '长安道', 'score': '6.6', 'duration': '113分钟', 'region': '中国大陆', 'director': '李骏', 'actors': '范伟 / 宋洋 / 焦俊艳', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2574145203.jpg'}
{'title': '决战中途岛', 'score': '7.7', 'duration': '136分钟(中国大陆)', 'region': '中国大陆 美国', 'director': '罗兰·艾默里奇', 'actors': '艾德·斯克林 / 帕特里克·威尔森 / 伍迪·哈里森', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2573582192.jpg'}
{'title': '霹雳娇娃', 'score': '6.0', 'duration': '119分钟', 'region': '美国', 'director': '伊丽莎白·班克斯', 'actors': '克里斯汀·斯图尔特 / 娜奥米·斯科特 / 埃拉·巴林斯卡', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2572654905.jpg'}
{'title': '少年的你', 'score': '8.4', 'duration': '135分钟', 'region': '中国大陆', 'director': '曾国祥', 'actors': '周冬雨 / 易烊千玺 / 尹昉', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2572166063.jpg'}
{'title': '别告诉她', 'score': '7.5', 'duration': '98分钟', 'region': '美国', 'director': '王子逸', 'actors': '奥卡菲娜 / 马志 / 林晓杰', 'poster': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2574723117.jpg'}
{'title': '触不可及(美版)', 'score': '7.8', 'duration': '121分钟(中国大陆)', 'region': '美国', 'director': '尼尔·博格', 'actors': '凯文·哈特 / 布莱恩·科兰斯顿 / 妮可·基德曼', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2574095486.jpg'}
{'title': '受益人', 'score': '6.7', 'duration': '112分钟', 'region': '中国大陆', 'director': '申奥', 'actors': '大鹏 / 柳岩 / 张子贤', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2572429001.jpg'}
{'title': '天气之子', 'score': '7.1', 'duration': '113分钟(中国大陆)', 'region': '日本', 'director': '新海诚', 'actors': '醍醐虎汰朗 / 森七菜 / 小栗旬', 'poster': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2570059839.jpg'}
{'title': '终结者：黑暗命运', 'score': '7.1', 'duration': '128分钟', 'region': '美国 中国大陆', 'director': '蒂姆·米勒', 'actors': '麦肯兹·戴维斯 / 娜塔利娅·雷耶斯 / 琳达·汉密尔顿', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2571762536.jpg'}
{'title': '追凶十九年', 'score': '5.4', 'duration': '105分钟', 'region': '中国大陆', 'director': '徐翔云', 'actors': '王泷正 / 宋宁峰 / 黄璐', 'poster': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2572147897.jpg'}
{'title': '那一夜，我给你开过车', 'score': '0', 'duration': '110分钟', 'region': '中国大陆', 'director': '林晓丽', 'actors': '田雨 / 左小青 / 种丹妮', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2574203816.jpg'}
{'title': '我在原地等你', 'score': '0', 'duration': '106分钟', 'region': '中国大陆', 'director': '沈朝方', 'actors': '邬立朋 / 冯家慧 / 王子部', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2572702636.jpg'}
{'title': '我和我的祖国', 'score': '8.0', 'duration': '155分钟', 'region': '中国大陆', 'director': '陈凯歌 张一白 管虎 薛晓路 徐峥 宁浩 文牧野', 'actors': '黄渤 / 张译 / 韩昊霖', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2567998580.jpg'}
{'title': '变化中的中国·生活因你而火热', 'score': '0', 'duration': '106分钟', 'region': '中国大陆', 'director': '程工 张袆 胥峥 王晓峰', 'actors': '张方勇 / 舒畅 / 张震男', 'poster': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2574020817.jpg'}
{'title': '中国机长', 'score': '7.0', 'duration': '111分钟', 'region': '中国大陆', 'director': '刘伟强', 'actors': '张涵予 / 欧豪 / 杜江', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2568258113.jpg'}
{'title': '骨瓷', 'score': '0', 'duration': '93分钟', 'region': '中国大陆', 'director': '林华全', 'actors': '周海媚 / 林伟 / 陈奕龙', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2572419221.jpg'}
{'title': '萌宠特工队', 'score': '0', 'duration': '93分钟', 'region': '德国 比利时', 'director': '克里斯托弗·劳恩斯坦 沃尔夫冈·劳恩斯坦', 'actors': '亚历桑德娜·内尔德尔 / 阿克西尔·普拉尔', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2569496016.jpg'}
{'title': '道具师', 'score': '0', 'duration': '90分钟', 'region': '中国大陆', 'director': '杜子曰', 'actors': '鲍振江 / 林飞 / 王艺霖', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2573303210.jpg'}
{'title': '攀登者', 'score': '6.3', 'duration': '125分钟', 'region': '中国大陆', 'director': '李仁港', 'actors': '吴京 / 章子怡 / 井柏然', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2568577681.jpg'}
{'title': '娱乐追击', 'score': '0', 'duration': '90分钟', 'region': '中国大陆', 'director': '李轩', 'actors': '洪天明 / 万国鹏 / 姜超', 'poster': 'https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2548176226.jpg'}
{'title': '为国而歌', 'score': '0', 'duration': '110分钟', 'region': '中国大陆', 'director': '青山 白海滨', 'actors': '王雷 / 古力娜扎 / 海一天', 'poster': 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2569772108.jpg'}
{'title': '宠物联盟', 'score': '0', 'duration': '91分钟', 'region': '中国大陆 德国', 'director': '莱因哈德· 克洛泽', 'actors': '赵路 / 周帅 / 胡艺', 'poster': 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2572918825.jpg'}