Python爬虫入门教程31：爬取猫咪交易网站数据并作数据分析
‘地区’, ‘店名’, ‘标题’, ‘价格’, ‘浏览次数’, ‘卖家承诺’, ‘在售只数’,
‘年龄’, ‘品种’, ‘预防’, ‘联系人’, ‘联系方式’, ‘异地运费’, ‘是否纯种’,
‘猫咪性别’, ‘驱虫情况’, ‘能否视频’, ‘详情页’
这些数据, 都是要获取下来的, 虽然说需要的数据比较多, 但是这个网站相对而言还是很简单的, 因为没有什么反爬的措施.
代码实现
获取数据
url = ‘http://www.maomijiaoyi.com/index.php?/chanpinliebiao_c_2.html’
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36’
}
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
href = selector.css(‘div.content:nth-child(1) a::attr(href)’).getall()
areas = selector.css(‘div.content:nth-child(1) a .area span.color_333::text’).getall()
areas = [i.strip() for i in areas]
zip_data = zip(href, areas)
for index in zip_data:
http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_546549.html
index_url = ‘http://www.maomijiaoyi.com’ + index[0]
response_1 = requests.get(url=index_url, headers=headers)
selector_1 = parsel.Selector(response_1.text)
area = index[1] # 地区
shop = selector_1.css(‘.dinming::text’).get().strip() # 店名
title = selector_1.css(‘.detail_text .title::text’).get().strip() # 标题
price = selector_1.css(‘span.red.size_24::text’).get() # 价格
views = selector_1.css(‘.info1 span:nth-child(4)::text’).get() # 浏览次数
promise = selector_1.css(‘.info1 div:nth-child(2) span::text’).get().replace('卖家承诺: ', ‘’) # 卖家承诺
sale = selector_1.css(‘.info2 div:nth-child(1) div.red::text’).get() # 在售
age = selector_1.css(‘.info2 div:nth-child(2) div.red::text’).get() # 年龄
breed = selector_1.css(‘.info2 div:nth-child(3) div.red::text’).get() # 品种
safe = selector_1.css(‘.info2 div:nth-child(4) div.red::text’).get() # 预防
people = selector_1.css(‘div.detail_text .user_info div:nth-child(1) .c333::text’).get() # 联系人
phone = selector_1.css(‘div.detail_text .user_info div:nth-child(2) .c333::text’).get() # 联系方式
fare = selector_1.css(‘div.detail_text .user_info div:nth-child(3) .c333::text’).get().strip() # 异地运费
purebred = selector_1.css(
‘.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(1) .c333::text’).get().strip() # 是否纯种
sex = selector_1.css(
‘.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(4) .c333::text’).get().strip() # 猫咪性别
worming = selector_1.css(
‘.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(2) .c333::text’).get().strip() # 驱虫情况
video = selector_1.css(
‘.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(4) .c333::text’).get().strip() # 能否视频
dit = {
‘地区’: area,
‘店名’: shop,
‘标题’: title,
‘价格’: price,
‘浏览次数’: views,
‘卖家承诺’: promise,
‘在售只数’: sale,
‘年龄’: age,
‘品种’: breed,
‘预防’: safe,
‘联系人’: people,
‘联系方式’: phone,
‘异地运费’: fare,
‘是否纯种’: purebred,
‘猫咪性别’: sex,
‘驱虫情况’: worming,
‘能否视频’: video,
‘详情页’: index_url,
}
print(area, shop, title, price, views, promise, sale, age, breed,
safe, people, phone, fare, purebred, sex, worming, video, index_url, sep=’ | ')
爬取数据展示
部分数据分析展示
品种类目词云
猫猫售卖省份分布
交易品种占比树状图
均价排名
猫龄分布
浏览次数是否跟价格成正比，散点图
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~
给大家准备的学习资料包括但不限于：
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
VpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-U1nyKfWE-1712710036829)]
相关知识
Python爬虫入门教程31：爬取猫咪交易网站数据并作数据分析
Python爬虫+可视化教学：爬取分析宠物猫咪交易数据
Python爬虫实战：获取宠物领养信息和照片
【Python教程】教你用Python代码制作一个桌面宠物，专属桌宠，体验感升级1000%（附源码）
爬了20W+条猫咪交易数据，它不愧是人类团宠
博客名：使用Python爬虫实现宠物社区的宠物品种和养护知识获取
python爬虫，爬取百度图片
（开题）flask框架宠物医院网站的设计与实现（程序+论文+python）
[开题报告]flask框架的宠物交流平台系统50k32（程序+论文+python）
[附开题]flask框架宠物领养系统xu2hg（源码+论文+python）
网址: Python爬虫入门教程31：爬取猫咪交易网站数据并作数据分析 https://m.mcbbbk.com/newsview299785.html
| 上一篇: 我的明星猫超模游戏 |
下一篇: 杭州一小花猫连续4年景点做模特， |
