spark dataframe 将一列展开,把该列所有值都变成新列的方法

yipeiwu_com6年前Python基础

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python判断端口是否打开的实现代码

复制代码 代码如下:#!/usr/bin/env python# name IsOpen.pyimport osimport socketdef IsOpen(ip,port):&nbs...

Python调用百度根据经纬度查询地址的示例代码

如下所示: def locatebyLatLng(lat, lng, pois=0): ''' 根据经纬度查询地址 ''' items = {'location': str(...

python实现得到一个给定类的虚函数

本文实例讲述了python实现得到一个给定类的虚函数的方法,分享给大家供大家参考。具体如下: 现来看看如下代码: import wx for method in dir(wx.P...

Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】

Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】

本文实例讲述了Python实现曲线拟合操作。分享给大家供大家参考,具体如下: 这两天学习了用python来拟合曲线。 一、环境配置 本人比较比较懒,所以下载的全部是exe文件来安装,安装...

pycharm新建一个python工程步骤

pycharm新建一个python工程步骤

小编最近由于工作原因要用到python,一门新的知识需要接触,对于我来说难度还是很大的。 python工程目录结构 每次创建一个python工程 PyCharm会创建如下目录 创建时会把...