将string类型的数据类型转换为spark rdd时报错的解决方法

yipeiwu_com6年前Python基础

在将string类型的数据类型转换为spark rdd时,一直报这个错,StructType can not accept object %r in type %s” % (obj, type(obj)))

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

查了半天的资料,问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case,终于把问题解决。记录一下!

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

上面的问题办法是,将sc.parallelize([list0])中的list0再转成一个整体list,问题即可解决。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对【听图阁-专注于Python设计】的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

python实现汽车管理系统

本文实例为大家分享了python实现汽车管理系统的具体代码,供大家参考,具体内容如下 1、定义车辆类,属性有车牌号、颜色、车型(小汽车、小卡、中卡和大卡)、到达的时间和离开的时间等信息...

python简单实现矩阵的乘,加,转置和逆运算示例

本文实例讲述了python简单实现矩阵的乘,加,转置和逆运算。分享给大家供大家参考,具体如下: 使用python完成矩阵的乘,加,转置和逆: # -*- coding:utf-8 -...

通过python实现弹窗广告拦截过程详解

通过python实现弹窗广告拦截过程详解

原理 这里实现的弹窗拦截,是程序不断的监视电脑屏幕,当出现需要拦截的窗口时,自动控制屏幕点击事件关闭。第一步:将需要关闭弹窗的点击位置截图。 直接上代码 while True:...

Python openpyxl 遍历所有sheet 查找特定字符串的方法

如下所示: from openpyxl import workbook from openpyxl import load_workbook from openpyxl import...

在Python中获取两数相除的商和余数方法

方法一:可以使用//求取两数相除的商、%求取两数相除的余数。[/在Python中获取的是相除的结果,一般为浮点数] 方法二:使用divmod()函数,获取商和余数组成的元祖 实例代码:...