将string类型的数据类型转换为spark rdd时报错的解决方法

yipeiwu_com6年前Python基础

在将string类型的数据类型转换为spark rdd时,一直报这个错,StructType can not accept object %r in type %s” % (obj, type(obj)))

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

查了半天的资料,问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case,终于把问题解决。记录一下!

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

上面的问题办法是,将sc.parallelize([list0])中的list0再转成一个整体list,问题即可解决。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对【听图阁-专注于Python设计】的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

Python中常用信号signal类型实例

本文研究的主要是Python中的Signal 信号的相关内容,具体如下。 常用信号类型 SIGINT 终止进程 中断进程,不可通过signal.signal()捕捉(相当于Ctrl...

python实现随机漫步算法

本文实例为大家分享了python实现随机漫步的具体代码,供大家参考,具体内容如下 编写randomwalk类 from random import choice class ra...

django组合搜索实现过程详解(附代码)

django组合搜索实现过程详解(附代码)

一.简介 # 组合搜索 # 技术方向:自动化,测试,运维,前端 # 分类:Python Linux JavaScript OpenStack Node.js GO #...

对python 操作solr索引数据的实例详解

对python 操作solr索引数据的实例详解

测试代码1: def test(self): data = {"add": {"doc": {"id": "100001", "*字段名*": u"我是一个大好人"}}} p...

python按照多个条件排序的方法

对tuple进行排序,先按照第一个元素升序,如果第一个元素相同,再按照第二个元素降序排列。 L = [(12, 12), (34, 13), (32, 15), (12, 24),...