模块 任务 主要知识与技能点 分值 模块A:大数据平台搭建（容器环境） 任务一：Hadoop HA安装配置 Hadoop HA下的JDK的解压安装、JDK环境变量配置、ZK配置、节点配置、Hadoop配置文件修改、运行测试等 7 任务二：Hive安装配置 Hive的解压安装、环境变量配置、运行测试等 4 任务三：Kafka安装配置 Kafka的配置文件修改、运行测试等 4 小计 15 模块B:离线数据处理 任务一：数据抽取 利用Sqoop,从MySQL中进行离线数据抽取，包括全量数据抽取和增量数据抽取操作 10 任务二：数据清洗 利用MR,从ods到dwd的数据清洗，包括数据排序、去重、数据类型转换等操作 8 任务三：指标计算 利用Spark,在dwd层对数据进行相关数据指标的统计、计算等操作 7 小计 25 模块C:数据挖掘 任务一：特征工程 对推荐系统的数据集进行特征提取及数据预处理等操作 5 任务二：推荐系统 基于用户的推荐系统设计开发操作 5 小计 10 模块D:数据采集与实时计算 任务一：实时数据采集 基于Flume和Kafka的实时数据采集，包括Flume采集端口及配置、数据注入Kafka等操作 8 任务二：使用Flink处理Kafka中的数据 使用Flink消费Kafka中的数据进行实时计算，包括实时数据统计计算、Redis基本操作、Kafka基本操作等 12 小计 20 模块E：数据可视化 任务一：用柱状图展示消费额最高的国家 正确使用Vue.js框架，结合Echarts绘制柱状图 2 任务二：用饼状图展示各地区消费能力 正确使用Vue.js框架，结合Echarts绘制饼状图 3 任务三：用散点图展示总消费额变化 正确使用Vue.js框架，结合Echarts绘制散点图 3 任务四：用条形图展示平均消费额最高的国家 正确使用Vue.js框架，结合Echarts绘制条形图 3 任务五：用折柱混合图展示地区平均消费额和国家平均消费额 正确使用Vue.js框架，结合Echarts绘制折柱混合图 4 小计 15 模块F:综合分析 任务一：数仓中Hive内外表对比 正确分析数仓中Hive的内表和外表 4 任务二：对于数据挖掘模块中的用户推荐有什么好的建议 正确分析数据挖掘模块中的用户推荐并提供合理化建议 3 任务三：简要描述任务过程中的问题并进行总结 合理描述任务过程中的问题并进行总结 3 小计 10 模块G:职业素养 考察职业素养 竞赛团队分工明确合理、操作规范、文明竞赛 5 小计 5 总分 100模块 任务 主要知识与技能点 分值 模块A:大数据平台搭建（容器环境） 任务一：Hadoop完全分布式安装配置 Hadoop完全分布式下的JDK的解压安装、JDK环境变量配置、节点配置、Hadoop配置文件修改、运行测试等 7 任务二：Spark on Yarn安装配置 Spark的解压安装、环境变量配置、on Yarn配置、运行测试等 4 任务三：Flink on Yarn安装配置 Flink的解压安装、环境变量配置、运行测试等 4 小计 15 模块B:离线数据处理 任务一：数据抽取 利用Spark,从MySQL中进行离线数据抽取，包括全量数据抽取和增量数据抽取操作 10 任务二：数据清洗 利用Spark,从ods到dwd的数据清洗，包括数据排序、去重、数据类型转换等操作 8 任务三：指标计算 利用Spark,在dwd层对数据进行相关数据指标的统计、计算等操作 7 小计 25 模块C:数据挖掘 任务一：特征工程 对推荐系统的数据集进行特征提取及数据预处理等操作 5 任务二：推荐系统 基于用户的推荐系统设计开发操作 5 小计 10 模块D:数据采集与实时计算 任务一：实时数据采集 基于Flume和Kafka的实时数据采集，包括Flume采集端口及配置、数据注入Kafka等操作 8 任务二：使用Flink处理Kafka中的数据 使用Flink消费Kafka中的数据进行实时计算，包括实时数据统计计算、Redis基本操作、Kafka基本操作等 12 小计 20 模块E：数据可视化 任务一：用柱状图展示消费额最高的国家 正确使用Vue.js框架，结合Echarts绘制柱状图 2 任务二：用饼状图展示各地区消费能力 正确使 ... ...
~~ 您好，已阅读到文档的结尾了 ~~
