spark在hdfs新建文件并写入内容-创新互联
val hdfs: FileSystem = org.apache.hadoop.fs.FileSystem.get(new org.apache.hadoop.conf.Configuration())
//spark中使用 val hdfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfiguration)
val out = hdfs.create(new Path(s"hdfs://${filePath}/${ph.name}/人脸多档对应的抓拍集合.html"),true) // 第二个参数true 表示覆盖同名文件
// 适合少量数据
df_face_html.collect().foreach{
ph =>if (ph.urls.nonEmpty) {
out.write(ph.urls.get.getBytes) //中文不乱码 文本顶部无异常字符
}
}
out.flush()
out.close()
case class personHtml(name:String,urls:Option[String])
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
本文标题:spark在hdfs新建文件并写入内容-创新互联
文章出自:http://myzitong.com/article/dpgcgd.html