spark dataframe 将一列展开,把该列所有值都变成新列的方法

yipeiwu_com6年前Python基础

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

用Python的Django框架编写从Google Adsense中获得报表的应用

 我完成了更新我们在 Neutron的实时收入统计。在我花了一周的时间完成并且更新了我们的PHP脚本之后,我最终认决定开始使用Python进行抓取,这是值得我去花费我的时间和精...

pyv8学习python和javascript变量进行交互

python取得javascript里面的值 复制代码 代码如下:import PyV8 with PyV8.JSContext() as env1:   ...

小白如何入门Python? 制作一个网站为例

首先最重要的问题是为什么要学习python?这个问题这个将指导你如何学习Python和学习的方式。 以你最终想制作一个网站为例。从一个通用的学习资源列表开始不仅会消磨你的激情,而且你获得...

利用Python中unittest实现简单的单元测试实例详解

前言 单元测试的重要性就不多说了,可恶的是Python中有太多的单元测试框架和工具,什么unittest, testtools, subunit, coverage, testrepos...

详解Python pygame安装过程笔记

今天看到一个教程,是关于Python安装pygame模块的。觉得很好,拿来分享一下。 安装Python 额,这个小题貌似在这里很是多余啊。但是为了照顾到刚刚学习Python的童鞋,我还是...