本篇代码提供者: 青灯教育-巳月老师
本次亮点:
1、系统分析目标网页
2、html标签数据解析方法
3、海量数据一键保存
环境介绍:
- python 3.8
- pycharm 2021专业版 >>> 激活码
- requests >>> pip install requests
- parsel >>> pip install parsel
代码实现:
- 发送请求 (访问网站)
- 获取数据 网页源代码
- 解析数据 (网页构造, css样式选择器)
- 保存数据
代码
导入模块
import requests # 发送请求 第三方模块(基于urllib开发模块) 额外安装 pip install 模块名nimport parsel # 解析数据模块 第三方模块 额外安装 pip install 模块名nimport csv # 内置模块 不需要你额外安装n
伪装
# 伪装 请求头 request headersnheaders = {n # 用户基本信息, 没有登陆信息n 'Cookie': 'fvlid=1644577630437PyNsv7r4UeWZ; che_sessionid=6033453E-99CD-4D18-9EC6-26D8D81CB82E%7C%7C2022-02-11+19%3A07%3A13.352%7C%7C0; sessionid=1510cb04-9fdd-428f-82f7-d7b77ccae016; area=430103; sessionip=175.0.63.33; sessionvisit=98f1634e-6cbb-4f5e-97f9-6af88e5b8d33; sessionvisitInfo=1510cb04-9fdd-428f-82f7-d7b77ccae016|www.autohome.com.cn|100533; Hm_lvt_d381ec2f88158113b9b76f14c497ed48=1650521306; che_sessionvid=6223C48B-0DCD-4485-8DB7-B9A2D39AC7FF; carDownPrice=1; listuserarea=0; UsedCarBrowseHistory=0%3A43390985%2C0%3A43390239%2C0%3A43268434%2C0%3A43010424; userarea=0; ahpvno=23; Hm_lpvt_d381ec2f88158113b9b76f14c497ed48=1650523580; ahuuid=46A0D5A6-5C39-4735-A5CE-3F6DA42672C9; showNum=52; v_no=36; visit_info_ad=6033453E-99CD-4D18-9EC6-26D8D81CB82E||6223C48B-0DCD-4485-8DB7-B9A2D39AC7FF||-1||-1||36; che_ref=www.autohome.com.cn%7C0%7C100533%7C0%7C2022-04-21+14%3A46%3A20.424%7C2022-02-11+19%3A55%3A59.495; sessionuid=1510cb04-9fdd-428f-82f7-d7b77ccae016',n # 浏览器基本信息n # 源码、解答、教程有需要可以口裙：8321删57862n 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'n}n# z = 1, y = 2nurl = 'https://www.che168.com/china/list/'n
发送请求
# 1. 发送请求 (访问网站)n# # 打印n# print(url)n# 发送请求 方式nresponse = requests.get(url=url, headers=headers)n
获取数据
# 2. 获取数据 网页源代码nhtml_data = response.textn
解析数据
# 3. 解析数据 (网页构造, css样式选择器)n# 数据分析n# 网站开发 >>> 都有n# 人工智能n# html(存储数据) + css(样式) + js(可以实现动态的效果)n# <div class="viewlist_ul">n# 车辆信息n# </div>n# <div>n# 车主信息... n# 源码、解答、教程有需要可以口裙：8321删57862n# </div>n# <img />nselector = parsel.Selector(html_data)n# python 数据容器 列表 [1,3,4,5,6]n# 我要用别名去取值nlis = selector.css('.viewlist_ul li')nfor li in lis:n card_name = li.css('.card-name::text').get()n cards_unit = li.css('.cards-unit::text').get()n price = li.css('.pirce em::text').get()n img_url = 'https:'+li.css('.img-box img::attr(src)').get()n if price == None or price == "":n price = li.css('.pirce::text').get()n print(card_name, cards_unit, price, img_url)n
保存数据
# 4. 保存数据n with open('汽车之家.csv', mode='a', encoding='utf-8', newline='') as f:n csv_writer = csv.writer(f)n csv_writer.writerow([card_name, cards_unit, price, img_url])n
尾语
好了，我的这篇文章写到这里就结束啦！
有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
