动手学数据分析 数据重构

数据重构

介绍

在对数据做好清洗之后（重复值、缺失值），就可以对数据进行重构。为什么要进行数据重构呢，因为在实际情况下，可能数据分布在多个文件；或者数据中的某些数据是相关的，需要进行整合等；需要从数据中获取有效信息（如最值、平均值等统计信息），这个时候就需要用到数据重构的相关技术。

数据合并

DataFrame的合并

包括DataFrame的merge和join、append

使用了DataFrame对象中的merge方法，如下图：

同时，merge还可以根据索引进行合并

join：结合append可以更方便的根据索引进行合并

轴向的连接

这里有两种方式：

• 使用numpy：np.concatenat([arr, arr], axis=1)
• pd.concat()：

数据的分组和聚合

数据分组

使用groupby函数

数据聚合

• sum：计算分组的总和
• mean：计算分组的平均值
• max：计算分组的最大值

References

• merge in pandas
• concat in pandas
• groupby in pandas
• 动手学数据分析第八章和第十章