This part is a summary of the paper: ’14 SIGMOD PriView: Practical Differentially Private Release of Marginal Contingency Tables 1.…
spark 性能调优 避免创建重复的RDD 尽可能复用同一个RDD 对多次使用的RDD进行持久化 每次对一个RDD执行一个算子操作时，都会从源头处计算一遍计算出RDD再对这个RDD执行算子操作
《用户网络行为画像》笔记 主流推荐方法的分类 协同过滤的推荐方法 协同过滤方法的局限 冷启动问题 因为不对视频的内容做分析，所以无法一句深层特征和属性来推荐比较复杂的视频，是的用户会对推荐结果的可信度产生质疑 用户打分稀疏性问题的约束 碎着用户和视频数量的增大、系统计算量的增大，收到算法可拓展性问题的约束 基于内容的推荐方法（Content Based)
来源：艾伦蓝 Scala伴生类 伴生对象 当单例对象与某个类共享同一个名称时，他被称作是这个类的伴生对象：companion object。你必须在同一个源文件里定义类和它的伴生对象。类被称为是这个单例对象的伴生类：companion class。 类和它的伴生对象可以互相访问其私有成员。
上传到HDFS 首先cd到文件夹，然后用命令 hadoop fs -copyFromLocal fileName HDFSdirectory 从HDFS下载 hadoop fs -get HDFSdirectory 删除文件
引用透明、纯粹度以及代换模型 《Scala函数式编程》笔记 引用透明 要求函数不论进行了任何操作都可以用它的返回值来替代 代换模型 An expression is said to be referentially transparent if it can be replaced with its…
臭橘帮装了主题，然后文章的顺序是按照时间逆序排序的 就是新写的文章在前面，觉得很不友好 于是看了下有没有更改的方法 在segmentfault上找到了解决方法：来源：segmentfault 需要改内核 在var/Widget/Archive.php中函数execute第1257行，SORT_DESC改成SORT_ASC：
RDD是Spark的核心抽象 弹性分布式数据集（RDD, resilient distributed datasets)，他表示以被分区、只读的、并提供了一组丰富的操作方式来操作这些数据集合。这些数据集的全部或部分可以缓存在内存中，在多次计算见重复使用，省去了大量的磁盘IO操作。
《Apache Spark源码剖析》笔记 spark简介 在Hadoop的整个生态系统中，Spark 和 MapReduce 在同一个层级，主要解决分布式计算框架的问题。 分布式并行处理，集群管理 高可靠性的两重含义，一是服务的有效性，二是计算结果的准确性。 高性能计算在可接受的时间内完成