首页下载资源大数据spark课程设计任务

ZIPspark课程设计任务

2301_7907086721MB需要积分:1

资源文件列表:

spark.zip 大约有61个文件
  1. spark/data.csv 65.61MB
  2. spark/FoodSpark2/
  3. spark/FoodSpark2/.idea/
  4. spark/FoodSpark2/.idea/artifacts/
  5. spark/FoodSpark2/.idea/artifacts/FoodSpark2_jar.xml 301B
  6. spark/FoodSpark2/.idea/codeStyles/
  7. spark/FoodSpark2/.idea/codeStyles/codeStyleConfig.xml 153B
  8. spark/FoodSpark2/.idea/compiler.xml 543B
  9. spark/FoodSpark2/.idea/misc.xml 541B
  10. spark/FoodSpark2/.idea/scala_compiler.xml 191B
  11. spark/FoodSpark2/.idea/workspace.xml 6.23KB
  12. spark/FoodSpark2/out/
  13. spark/FoodSpark2/out/artifacts/
  14. spark/FoodSpark2/out/artifacts/FoodSpark2_jar/
  15. spark/FoodSpark2/out/artifacts/FoodSpark2_jar/FoodSpark2.jar 27.79KB
  16. spark/FoodSpark2/pom.xml 2.7KB
  17. spark/FoodSpark2/src/
  18. spark/FoodSpark2/src/main/
  19. spark/FoodSpark2/src/main/java/
  20. spark/FoodSpark2/src/main/resources/
  21. spark/FoodSpark2/src/main/scala/
  22. spark/FoodSpark2/src/main/scala/FoodSpark/
  23. spark/FoodSpark2/src/main/scala/FoodSpark/FoodSpark.scala 6.63KB
  24. spark/FoodSpark2/src/main/scala/FoodSpark/FoodSpark2.scala 6.62KB
  25. spark/FoodSpark2/src/test/
  26. spark/FoodSpark2/src/test/java/
  27. spark/FoodSpark2/src/test/scala/
  28. spark/FoodSpark2/target/
  29. spark/FoodSpark2/target/classes/
  30. spark/FoodSpark2/target/classes/FoodSpark/
  31. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$1.class 1.12KB
  32. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$2.class 1000B
  33. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$3$$anonfun$apply$1.class 1.17KB
  34. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$3.class 1.64KB
  35. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$4.class 1.2KB
  36. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$5.class 1.21KB
  37. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$6.class 1.33KB
  38. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$7.class 1.51KB
  39. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$8.class 1.79KB
  40. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$$anonfun$main$1.class 1.3KB
  41. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark$.class 4.1KB
  42. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark.class 1KB
  43. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$1.class 1.13KB
  44. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$2.class 1004B
  45. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$3$$anonfun$apply$1.class 1.18KB
  46. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$3.class 1.65KB
  47. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$4.class 1.2KB
  48. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$5.class 1.22KB
  49. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$6.class 1.33KB
  50. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$7.class 1.51KB
  51. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$8.class 1.79KB
  52. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$9.class 1.22KB
  53. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$main$1.class 1.06KB
  54. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$main$2.class 1.3KB
  55. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$$anonfun$main$3.class 1.06KB
  56. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2$.class 4.36KB
  57. spark/FoodSpark2/target/classes/FoodSpark/FoodSpark2.class 1.17KB
  58. spark/FoodSpark2/target/classes/META-INF/
  59. spark/FoodSpark2/target/classes/META-INF/FoodSpark2.kotlin_module 16B
  60. spark/FoodSpark2/target/generated-sources/
  61. spark/FoodSpark2/target/generated-sources/annotations/

资源介绍:

对数据文件data.csv在根据课程设计要求在IDEA中编写Spark程序并打包成jar包，并且将数据文件data.csv上传到HDFS中，提交jar包到Spark集群中运行。 data.csv里面包含餐厅数据，可以用记事本打开查看，主要包含以下13个字段，字段之间由逗号分隔： "所属年月","商家名称","主营类型","店铺URL","特色菜","累计评论数","累计销售人次","店铺评分","本月销量","本月销售额","城市","商家地址","电话" 课程设计要求完成以下任务，在IDEA中创建Maven项目，提供pom.xml文件给大家，完成以下任务。 一、将data.csv文件上传到hdfs的/cateringdata/目录下。 二、编写Spark程序，实现以下功能，并且将程序打包为jar包 1.去掉"本月销量","本月销售额"（第8列和第9列）的数据异常（数据为空字符串或者null或者为0），并且统计去掉了多少条；这一步清洗获得的数据要以逗号分割，存到hdfs的/foodsparktask1目录下; 2.去掉"店铺评分"数据为null的数据，并统计去掉了多少条; 3.去掉"店
1718361274808
100+评论
captcha

    相关资源

    1. windows11编译安装pysqlcipher3

      qq964939641#后端ZIP152.5KB7月前
      资源摘要:windows11编译安装pysqlcipher3

    2. 数据可视化的可视化大屏课程设计

      2301_79070867#后端ZIP10.08MB7月前
      资源摘要:1、选取合适的数据集：根据毕业设计的主题和目标，选择与之相关的合适的数据集。确保数据集可获得并包含足够的样本和特征，以支持后续的数据分析和开发工作。2、项目背景：介绍毕业设计的背景和动机，说明为什么选择该课题以及相关领域的研究现状和问题。3、项目目标：明确毕业设计的目标和预期成果，阐述希望通过这个项目实现的具体价值和意义。4、数据说明：详细描述所选数据集的来源、规模、结构和内容，包括数据的格式、字段含义、数据质量等信息。5、项目分析：对数据集进行初步的数据分析，包括数据预处理、特征提取、数据探索等，以获得对数据集的深入理解，为后续的开发工作做准备。6、开发环境：采用Echarts大数据可视化技术。项目开发采用当前最主流的前后端分离的方式:后端用Pycharm工具搭建Flask框架，然后利用Python技术完成数据清洗、数据制作，最终形成数据接口;前端用Vscode工具完成可视化大屏布局、用Echarts技术完成图形展示;前后端只通过数据接口交互。7、后端开发：根据项目需求和目标，进行后端开发工作，包括数据处理、函数的设计等，确保后端能够正确处理数据，并提供相应的接口和功能。

    3. windows11编译安装pysqlcipher3

      qq964939641#后端ZIP2.64MB7月前
      资源摘要:windows11编译安装pysqlcipher3

    4. 爬取豆瓣电影top250和爬取当当网数据

      2301_79070867#大数据ZIP1.95KB7月前
      资源摘要:（2）编写爬虫程序，使用Urllib或Requests库获取到服务器URL的首页数据。（3）解析数据，包含图书编号、名称、作者、出版社、出版时间、价格、简介、图书图片的URL，同时实现翻页功能爬取全部网页数据；（4）数据持久化存储：将全部解析的数据存储到 .CSV文件；将全部图书的图片存储到当前目录中“download”文件夹；将全部解析的数据存储到数据库( MySQL或MongoDB )。 编写爬虫程序，使用获取到服务器URL的首页数据。（3）使用解析RE、BS4、XPATH数据，包含图书编号、名称、作者、出版社、出版时间、价格、简介、图书图片的URL，同时实现翻页功能爬取全部网页数据；（4）数据持久化存储：将全部解析的数据存储到 .CSV文件；将全部图书的图片存储到当前目录中“download”文件夹；将全部解析的数据存储到数据库( MySQL或MongoDB )。

    5. 迈德威视SDK同时驱动4个工业相机实时视频采集及显示

      qq_33912182#音视频ZIP11.05KB7月前
      资源摘要:通过MDVS-SDK，分别注册4个回调函数，实现4个工业RGB相机同时视频采集及显示，代码基于Qt 5.12和Opencv3开发。其中显示部分只完成一个相机的实时显示。

    6. vm的远程登录软件SecureCRTPortable和MobaXterm-Personal

      2301_79070867#大数据ZIP64.19MB7月前
      资源摘要:打开压缩包第一个目录下MobaXterm_Personal_23.2.exe是一个远程登录软件，打开03.SecureCRTSecureFX目录，此目录下SecureCRTPortable.exe是另一个登录软件。在用MobaXterm_Personal时，点击左上角的session中的ssh输入ip地址和名字即可连接设备；在用SecureCRTPortable时点击左上角第二个快速连接，点击协议ssh输入ip和用户名即可连接

    7. typst Windows 安装包

      weixin_43838815#后端ZIP13.98MB7月前
      资源摘要:typst Windows 安装包

    8. 前端页面（使用html+js+css实现轮播图效果）

      kuailezzf#前端ZIP11.38MB7月前
      资源摘要:使用html+js+css实现轮播图效果
    站长QQ:九六九五七三七