spark如何实现parquetfile的写操作

小编给大家分享一下spark如何实现parquetfile的写操作，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！

创新互联是一家专业提供西华企业网站建设,专注与成都网站建设、成都网站制作、H5网站设计、小程序制作等业务。10年已为西华众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

parquetfile的写

case class ParquetFormat(usr_id:BigInt , install_ids:String )
val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

看完了这篇文章，相信你对“spark如何实现parquetfile的写操作”有了一定的了解，如果想了解更多相关知识，欢迎关注创新互联行业资讯频道，感谢各位的阅读！

网页名称：spark如何实现parquetfile的写操作
文章链接：http://scjbc.cn/article/piodgo.html