-
甘特图怎么制作更方便？甘特图制作方法" title="甘特图怎么制作更方便？甘特图制作方法" width="200" height="150">
-
OKR的实施标准步骤是什么？成功实施落地OKR的要点" title="OKR的实施标准步骤是什么？成功实施落地OKR的要点" width="200" height="150">
-
Spark性能优化 (2) | 算子调优
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯...
-
2021年大数据Spark（七）：应用架构基本了解
Spark 应用架构-了解 Driver 和Executors 从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。 第一、...
-
Spark RDD算子案例：两种方式计算学生总分
文章目录 一、提出任务 二、准备工作 （一）启动HDFS服务 （二）启动Spark服务 三、实现步骤 （一）在Spark Shell里完成任务 （二）编写Scala程序完成任务 1、创建Maven项目...
-
Spark Core快速入门系列(8) | RDD 的持久化
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯...
-
Spark任务失败 Container be Killed 案情分析
1.案情 很单纯的讲，就是一个spark程序以yarn-cluster的模式运行在yarn集群上，经常遇到Lost executor Container be killed by yarn for...
-
Spark基础学习笔记01：初步了解Spark
文章目录 零、本讲学习目标 一、认识Spark （一）Spark简介 （二）Spark官网 （三）Spark发展历史 （四）Spark的特点 1、快速 2、易用性 3、通用性 4、随处运行 5、代码简...
-
-
Spark的shuffle介绍
Spark的shuffle介绍 shuffle简介:在 DAG 阶段以shuffle为界，划分 stage， 上游 stage做 map task，每个maptask将计算结果数据分成多份，每一份对应...
-
2021年大数据Spark（二）：四大特点
目录 Spark 四大特点 速度快 易于使用 通用性强 运行方式 Spark 四大特点 Spark 使用Scala语言进行实现，它是一种面向对、函数式编程语言，能够像操作本地集合一样轻松的操作分布式数...
-
《Spark数据分析：基于Python语言 》 —3.1.2 Spark工作节点与执行器
3.1.2 Spark工作节点与执行器 Spark执行器是运行Spark的DAG中的任务的进程。执行器会占用Spark集群的从节点（工作节点）上的CPU和内存资源。每个执行器都是特定的Spark应用专...
