import org.apache.spark.sql.SparkSession object T { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName(name="read File&...

spark 性能调优避免创建重复的RDD尽可能复用同一个RDD对多次使用的RDD进行持久化每次对一个RDD执行一个算子操作时，都会从源头处计算一遍计算出RDD再对这个RDD执行算子操作

《用户网络行为画像》笔记主流推荐方法的分类协同过滤的推荐方法协同过滤方法的局限冷启动问题因为不对视频的内容做分析，所以无法一句深层特征和属性来推荐比较复杂的视频，是的用户会对推荐结果的可信度产生质疑用户打分稀疏性问题的约束碎着用户和视频数量的增大、系统计算量的增大，收到算法可拓展性问题的约束基于内容的推荐方法（Content Based)起源于信息检索...

来源：艾伦蓝Scala伴生类 伴生对象当单例对象与某个类共享同一个名称时，他被称作是这个类的伴生对象：companion object。你必须在同一个源文件里定义类和它的伴生对象。类被称为是这个单例对象的伴生类：companion class。 类和它的伴生对象可以互相访问其私有成员。 class ApplyOperation { } clas...

上传到HDFS首先cd到文件夹，然后用命令hadoop fs -copyFromLocal fileName HDFSdirectory从HDFS下载hadoop fs -get HDFSdirectory删除文件hadoop fs -rm 创建RDD的三种方式从存储在存储系统中的数据上来创建val inputRdd:RDD[(LongWritable...