-
甘特图怎么制作更方便？甘特图制作方法" title="甘特图怎么制作更方便？甘特图制作方法" width="200" height="150">
-
OKR的实施标准步骤是什么？成功实施落地OKR的要点" title="OKR的实施标准步骤是什么？成功实施落地OKR的要点" width="200" height="150">
-
Spark性能优化 (3) | Shuffle 调优
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯...
-
Spark shuffle介绍：shuffle data生命周期
shuffle data持久化在磁盘上，如果一直不清理，磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景： 1、spark application主动停止，需要清...
-
2021年大数据Spark（十八）：Spark Core的RDD Checkpoint
目录 RDD Checkpoint 引入 API 代码演示 总结：持久化和Checkpoint的区别 问题: 答案: 区别: RDD Checkpoint 引入 RDD 数据可以持久化，但是持久化/缓...
-
spark简介及其架构
Spark是一个通用的并行计算框架，由加州伯克利大学的AMP于2009开发，并于2010年进行开源，后续发展为大数据领域的最活跃的开源项目之一。Spark在各大场景中扮演着重要的角色，比如能够进行复杂...
-
spark到底是怎么确认内存够不够用的？超大超详细图解！让你掌握Spark memeoryStore内存管理的精髓
首先回顾一下spark中的BlockManager和memoryStore是做什么的。 具体可以看这篇文章： spark的内存管理机制学习——BlockManager 他主要是将没有序列化的java对...
-
《Spark数据分析：基于Python语言 》 —2.2 准备安装Spark
2.2 准备安装Spark Spark是跨平台的应用程序，可以部署在如下操作系统上： Linux（所有发行版） Windows Mac OS X 尽管没有具体的硬件要求，一般的Spark节点的推荐硬件...
-
Spark_shuffle调优
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是...
