spark性能调优

时间: | 分类: spark学习

spark 性能调优

  • 避免创建重复的RDD
  • 尽可能复用同一个RDD
  • 对多次使用的RDD进行持久化

每次对一个RDD执行一个算子操作时,都会从源头处计算一遍计算出RDD再对这个RDD执行算子操作




失学失业还秃头


文章归档