何时使用RDD和DataFrame/DataSet

下面是使用RDD的场景和常见案例：

• 你希望可以对你的数据集进行最基本的转换、处理和控制；
• 你的数据是非结构化的，比如流媒体或者字符流；
• 你不希望像进行列式处理一样定义一个模式，通过名字或字段来处理或访问数据属性；
• 你并不在意通过DataFrame和Dataset进行结构化和半结构化数据处理所能获得的一些优化和性能上的好处；

该什么时候使用DataFrame或Dataset呢？

• 如果你需要丰富的语义、高级抽象和特定领域专用的API，那就使用DataFrame或Dataset；
• 如果你的处理需要对半结构化数据进行高级处理，如filter、map、aggregation、average、sum、SQL查询、列式访问或使用lambda函数，那就使用DataFrame或Dataset；
• 如果你想在编译时就有高度的类型安全，想要有类型的JVM对象，用上Catalyst优化，并得益于Tungsten生成的高效代码，那就使用Dataset；
• 如果你想在不同的Spark库之间使用一致和简化的API，那就使用DataFrame或Dataset；
• 如果你是R语言使用者，就用DataFrame；
• 如果你是Python语言使用者，就用DataFrame，在需要更细致的控制时就退回去使用RDD；