首页下载资源后端当当网排行榜爬虫+nosql数据分析

ZIP当当网排行榜爬虫+nosql数据分析

m0_63596031259.62KB需要积分:1

资源文件列表:

当当网爬虫+nosql数据分析代码.zip 大约有3个文件
  1. Data Analysis.py 5.91KB
  2. spider.py 6.26KB
  3. 当当网近4年畅销图书榜单数据.xlsx 255.62KB

资源介绍:

爬取当当网排行榜并连接本地nosql数据库进行多维度数据分析
from lxml import etree import requests import random from pymongo import MongoClient import time import csv import pandas as pd import numpy as np import re import os import pymongo cookies = { 'ddscreen': '2', 'ddscreen': '2', 'dest_area': 'country_id%3D9000%26province_id%3D111%26city_id%20%3D0%26district_id%3D0%26town_id%3D0', '__permanent_id': '20240423210658530124490989268736883', 'MDD_channelId': '70000', 'MDD_fromPlatform': '307', 'ddscreen': '2', '__visit_id': '20240530154038979262380281306734049', '__out_refer': '', '__rpm': '...1717054859559%7C...1717054899777', '__trace_id': '20240530154142377181404279783243769', } headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Cache-Control': 'max-age=0', 'Connection': 'keep-alive', # 'Cookie': 'ddscreen=2; ddscreen=2; dest_area=country_id%3D9000%26province_id%3D111%26city_id%20%3D0%26district_id%3D0%26town_id%3D0; __permanent_id=20240423210658530124490989268736883; MDD_channelId=70000; MDD_fromPlatform=307; ddscreen=2; __visit_id=20240530154038979262380281306734049; __out_refer=; __rpm=...1717054859559%7C...1717054899777; __trace_id=20240530154142377181404279783243769', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36', } def SpiderData(url): response = requests.get( url, cookies=cookies, headers=headers, verify=False, ) page_text = response.text return page_text def ParseData(page_text,key): tree = etree.HTML(page_text) lis = tree.xpath('.//ul[@class="bang_list clearfix bang_list_mode"]/li') rank, name, comments, recommends, author, publish_date, publish_house, original_price, discount_price, discount, ebook_price = [[] for i in range(11)] for li in lis: rank.append(''.join(li.xpath('.//div[@class="list_num red" or @class="list_num "]/text()')).replace('.','')) name.append(''.join(li.xpath('.//div[@class="name"]/a/text()'))) comments.append(''.join(li.xpath('.//div[@class="star"]/a/text()')).split('条')[0]) recommends.append(''.join(li.xpath('.//div[@class="star"]/span/text()')).split('推荐')[0]) author.append(''.join(li.xpath('.//div[@class="publisher_info"][1]/a[1]/text()'))) publish_date.append(''.join(li.xpath('.//div[@class="publisher_info"][2]/span/text()'))) publish_house.append(''.join(li.xpath('.//div[@class="publisher_info"][2]/a/text()'))) original_price.append(''.join(li.xpath('.//div[@class="price"]/p[1]/span[1]/text()')).replace("¥", "")) discount_price.append(''.join(li.xpath('.//span[@class="price_r"]/text()')).replace("¥", "")) discount.append(''.join(li.xpath('.//span[@class="price_s"]/text()'))) ebook_price.append(''.join(li.xpath('./div[@class="price"]/p[@class="price_e"]/span[@class="price_n"]/text()')).replace("¥", "")) # print(original_price) #print(len(rank),len(name),len(comments),len(recommends),len(author),len(publish_date),len(publish_date),len(original_price),len(discount_price),len(discount)) # 保存数据 dic = { '排行榜类型':key, '排序':rank, '书名':name, '评论数':comments, '推荐值':recommends, '作者':author, '出版日期':publish_date, '出版社':publish_house, '原价':original_price, '折扣价':discount_price, '折扣比例':discount, '电子书价格':ebook_price } df1 = pd.DataFrame(dic) return df1 if __name__ == "__main__": # 创建空数据框 columns = ['排行榜类型', '排序', '书名', '评论数', '推荐值', '作者', '出版日期', '出版社', '原价','折扣价', '折扣比例', '电子书价格'] df = pd.DataFrame(columns=columns) book_rank_type = { "2020年": "year-2020-0-1", "2021年": "year-2021-0-1", "2022年": "year-2022-0-1", "2023年": "year-2023-0-1" } # 循环爬取 for key, value in book_rank_type.items(): print(f'=====================开始爬{key}榜单数据===================') for page in range(25): # 排行榜共有25页数据 print('*****************开始爬取第{}页数据*****************'.format(page+1)) url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-{value}-{page+1}' #print(url) # try: time.sleep(1) data = SpiderData(url) df1 = ParseData(data, key) k = len(df) df = pd.concat([df,df1], axis=0) df.drop_duplicates(subset=None, keep='first', inplace=True) print('*********第{}页数据爬取完成，爬取{}条数据，目前共爬取{}条数据**********'.format(page+1,len(df)-k,len(df))) # except: # print('!!!!!!!!!第{}页数据爬取有误，需进行优化!!!!!!!!!'.format(page+1)) # break df = df.reset_index(drop=True) print(f'=================={key}榜单数据爬取完成，共有{len(df)}条数据===================') # # 连接到MongoDB，假设运行在默认端口上 # client = MongoClient('localhost', 27017) # # 选择数据库，如果不存在则会自动创建 # db = client['dangdang_4213'] # # 选择集合，如果不存在则会自动创建 # collection = db['dangdang_4213'] # # 将DataFrame转换为字典列表 # list_of_dicts = df.to_dict('records') # # 将数据插入MongoDB # collection.insert_many(list_of_dicts) # print(f'数据已成功存储到MongoDB，共{len(list_of_dicts)}条记录。') # # 关闭MongoDB连接 # client.close() # print(f'数据库连接已关闭') # print(df.shape) # 打印DataFrame的形状 # print(df.head()) # 打印DataFrame的前几行数据 df.to_excel('当当网近4年畅销图书榜单数据.xlsx',header=True,index=False)
100+评论
captcha

    相关资源

    1. 2024年第五届“华数杯”全国大学生数学建模竞赛赛题.zip

      2401_82428502#行业研究ZIP10.09MB7月前
      资源摘要:2024年第五届“华数杯”全国大学生数学建模竞赛赛题.zip

    2. chromedriver_linux64.zip

      2401_86624519#行业研究ZIP7.19MB7月前
      资源摘要:chromedriver_linux64.zip

    3. 魔方优化大师 v6.25

      tianaycz88#操作系统ZIP26.41MB7月前
      资源摘要:魔方优化大师 v6.25

    4. 彩虹外链网盘界面UI美化版源码分享.zip

      2401_86590429#前端ZIP1.41MB7月前
      资源摘要:彩虹外链网盘界面UI美化版源码分享，是一款PHP网盘与外链分享程序，支持所有格式文件的上传，可以生成文件外链、图片外链、音乐视频外链，生成外链同时自动生成相应的UBB代码和HTML代码，还可支持文本、图片、音乐、视频在线预览，这不仅仅是一个网盘，更是一个图床亦或是音乐在线试听网站。新版本支持对接阿里云OSS、腾讯云COS、华为云OBS、又拍云、七牛云等云存储，同时增加了图片违规检测功能。适合小文件快速共享，文件可以设置访问密码，doc，图片等文件可以预览，音频可以在线播放，也适合做图床，支持在线下载，美化前台UI，运行天数和友链在后台统计代码修改。安装教程上传解压缩，上传文件内数据库.sql修改config.php内数据库信息访问后台/admin 默认账号密码admin/123456

    5. 当当网排行版爬虫+可视化分析

      m0_63596031#后端ZIP266.43KB7月前
      资源摘要:爬取当当网排行榜并连接本地nosql数据库，对数据进行数据清洗后进行可视化分析展示

    6. 智能车载终端叉车 车载人脸识别ADAS行为识别定制方案

      qq_33738357#硬件开发ZIP257.2KB7月前
      资源摘要:第十九届全国智能车智能车载终端通过指纹/人脸/扫码/刷卡等验证司机操作权限，杜绝无证驾驶、无关人员非法驾驶。叉车启动时，自动检测安全带状态,如未系安全带，叉车不能启动。当行驶速度超过允许的最大行驶速度时，通过声音/灯光提醒或车速限制。远程管控，实时管理车辆，GPS定位，轨迹回放，电子围栏功能。一旦有障碍物或人员进入危险区域，驾驶员即可得到动态防撞预警，该技术能在各种复杂的路况环境中帮助驾驶员避免危险、预防事故和减轻压力，提供丰富的驾驶员视觉帮助、环境感知和自动驾驶功能，从而有效提升车辆的安全性能。智能车载终端采用联发科MT6765 八核Cortex-A53处理器,主频高达2.3GHz，搭载Android 11.0系统，超强性能。采用IMGGE8320 GPU，低功耗超强续航。支持支持2路摄像头，最高支持32MP@30fps，配备高清摄像头，高精度人脸识别算法，快速对司机进行刷脸识别，精准定位抓取生物特征，防伪仿冒。智能车载终端主板支持4G全网通、WIFI、蓝牙通讯方式，随时随地联网监控，安全稳定不受限，实现多样化通讯方式。通过GPS、A-GPS、GLONASS、北斗，多

    7. 大麦抢票脚本项目代码.zip

      s44359487yad#后端ZIP44.01KB7月前
      资源摘要:大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码.zip大麦抢票脚本项目代码

    8. 免费下载Springboot驾校预约管理系统

      m0_74283290#后端ZIP1.12MB7月前
      资源摘要:系统概述：驾校预约管理系统是一套集学员管理、教练管理、课程预约、考试安排等功能于一体的信息化解决方案。系统采用Spring Boot框架进行后端开发，利用其自动配置、内嵌服务器等特性，确保了系统的高性能与快速响应。关键技术：Spring Boot：简化了传统Spring应用的配置，提供了丰富的自动配置选项。MyBatis Plus：增强了MyBatis的功能，简化了数据库操作。JWT：用于实现无状态、安全的认证机制。Vue.js：作为前端框架，提供了丰富的组件和高效的数据绑定，优化了用户界面的交互性。核心功能模块：学员管理：系统支持学员信息的录入、修改和查询，以及学员状态的跟踪。教练管理：教练信息管理，包括教练的排班和工作评价。课程预约：学员可通过系统预约练车时间，系统自动处理预约冲突。考试管理：管理学员的考试安排，记录考试成绩。报表统计：系统自动生成教练工作量、学员通过率等统计报表。安全性：系统采用JWT进行用户认证，确保了数据传输的安全性和用户操作的合法性。同时，系统提供了角色权限管理，确保不同角色的访问权限得到有效控制。
    站长QQ:九六九五七三七