spark性能调优

spark 性能调优

  • 避免创建重复的RDD
  • 尽可能复用同一个RDD
  • 对多次使用的RDD进行持久化

每次对一个RDD执行一个算子操作时,都会从源头处计算一遍计算出RDD再对这个RDD执行算子操作

Leave a Reply

Your email address will not be published. Required fields are marked *