1.错误发生在从hdfs下载csv文件到本地,利用pandas读取报错
Pandas 错误记录
出现此错误的原因是因为输入文件的路径是文件夹路径,而不是文件本身。
查看本地文件,果然data_rh.csv是个假数据文件打开里面有很多小文件。
Pandas 错误记录
主要是利用spark df.write.format(“csv”).save("/tmp/myFile.csv") 保存的是一个myFile.csv的文件夹,有两个问题:

  • hadoop fs -get 命令得到是一堆文件。
  • 文件都是以snappy格式压缩的

第一个问题,可以使用coalesce进行合并,df.coalesce(1).write.option(“header”, “true”).csv(“myFile.csv”)
这样的写法同样会产生一个myFile.csv的文件夹,但其中的数据会全部保存到单个csv文件中
第二个问题,由于我使用的是sparkmagic,所以默认压缩是snappy, 可以在csv的compression参数进行设置。

df.coalesce(1)\   .write.option("header", "true")\   .csv(path="myFile.csv", compression="none") 

热门文章

动物疫苗是什么单位(动物疫苗的生产原料有哪些)

摘要: 本篇文章给大家谈谈动物疫苗是什么单位,以及动物疫苗的生产原料有哪些对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。本文目录一览:1、给狗打针是什么部门2、...

2月4日更新18.9M/S,2025年最新高速Clash/Shadowrocket/SSR/V2ray订阅链接免费节点地址分享

这一次的节点更新覆盖了加拿大、新加坡、韩国、美国、香港、欧洲、日本等地区,最高速度可达18.9 M/S。只需复制下方的Clash/v2ray订阅链接,在客户端添加后即可正常使用。

C#实现文件Move和Copy操作_C#教程_

文件移动(Move)操作和文件的复制(Copy)是C#程式开发经常遇到的方法,根据传入的源文件地址和目标文件地址参数,实现对文件的操作。实现代码如下: Move操作代码 public static

内江宠物乐园哪家好(昆明宠物乐园哪家好)

摘要: 今天给各位分享内江宠物乐园哪家好的知识,其中也会对昆明宠物乐园哪家好进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览:1、内江宠物交易市场在哪..

12月2日更新22.6M/S,2024年最新高速SSR/Clash/V2ray/Shadowrocket订阅链接免费节点订阅

这一次的节点更新覆盖了韩国、欧洲、美国、香港、加拿大、日本、新加坡等地区,最高速度可达22.6 M/S。只需复制下方的Clash/v2ray订阅链接,在客户端添加后即可正常使用。

动物疫苗研发生产流程视频(动物疫苗研发生产流程视频讲解)

摘要: 今天给各位分享动物疫苗研发生产流程视频的知识,其中也会对动物疫苗研发生产流程视频讲解进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览:1、疫苗研.

12月12日更新22.1M/S,2024年最新高速SSR/V2ray/Shadowrocket/Clash订阅链接免费节点订阅

这一次的节点更新覆盖了日本、香港、新加坡、韩国、加拿大、美国、欧洲等地区,最高速度可达22.1 M/S。只需复制下方的Clash/v2ray订阅链接,在客户端添加后即可正常使用。

2月16日更新22.2M/S,2025年最新高速V2ray/SSR/Clash/Shadowrocket订阅链接免费节点地址分享

这一次的节点更新覆盖了香港、欧洲、加拿大、韩国、日本、美国、新加坡等地区,最高速度可达22.2 M/S。只需复制下方的Clash/v2ray订阅链接,在客户端添加后即可正常使用。

动物注射疫苗最佳的用药方法是静脉注射吗对吗(动物注射疫苗注射哪里)

摘要: 今天给各位分享动物注射疫苗最佳的用药方法是静脉注射吗对吗的知识,其中也会对动物注射疫苗注射哪里进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览:.

2月2日更新20.3M/S,2025年最新高速SSR/Clash/Shadowrocket/V2ray订阅链接免费节点地址分享

这一次的节点更新覆盖了美国、韩国、加拿大、欧洲、新加坡、香港、日本等地区,最高速度可达20.3 M/S。只需复制下方的Clash/v2ray订阅链接,在客户端添加后即可正常使用。

归纳