-
甘特图怎么制作更方便？甘特图制作方法" title="甘特图怎么制作更方便？甘特图制作方法" width="200" height="150">
-
OKR的实施标准步骤是什么？成功实施落地OKR的要点" title="OKR的实施标准步骤是什么？成功实施落地OKR的要点" width="200" height="150">
-
Spark 学习中遇到的一些问题
Spark 学习中遇到的一些问题 SparkSQL 相关 在执行 insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在 ThriftServer 里面。 原因： 由于...
-
最强Spark内存管理剖析，值得收藏~
今天和大家介绍Spark的内存模型，干货多多，不要错过奥~ 与数据频繁落盘的Mapreduce引擎不同，Spark是基于内存的分布式计算引擎，其内置强大的内存管理机制，保证数据优先内存处理，并支持数据...
-
spark的内存管理机制学习——BlockManager
首先最关键的模块就是spark中的BlockManager。学习一下。 § BlockManager是什么？ BlockManager的作用？我理解是负责做RDD的存储，如何存下来给后续任务去使用。...
-
星火计划ROS机器人Spark
星火计划ROS机器人Spark 1 http://wiki.ros.org/Robots/Spark 2 https://github.com/NXROBO/spark ---- Spark Spar...
-
Spark性能优化 (1) | 常规性能调优
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯...
-
Spark任务参数优化
当我们提交Spark作业的时候，Spark作业会启动Driver进程去运行Application的main()函数，并且创建SparkContext，然后通过SparkContext与集群管理器申请S...
-
2021年大数据Spark（二十二）：内核原理
目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Sp...
-
Spark内存管理解析
Spark是一个基于内存的分布式计算引擎，为了更为高效地利用内存，并减少OOM等内存问题，Spark对JVM内存模型进行了进一步的管理规划，在其之上实现了自己的内存管理模型。本文将基于spark.me...
-
Spark shuffle介绍：概述
在基于mapreduce思想的计算模型里，Shuffle是map和reduce的纽带。计算框架对大数据分而治之，对处理数据进行分块并行处理，当需要对分块数据做聚合处理时，多个分块的数据在map阶段转为...
-
Spark内核详解 (7) | Spark 内存管理
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯...
