spark如何写入hive数据
这篇文章将为大家详细讲解有关spark如何写入hive数据,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
创新互联-专业网站定制、快速模板网站建设、高性价比民乐网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式民乐网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖民乐地区。费用合理售后完善,十载实体公司更值得信赖。
package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SQLContext import org.apache.spark.sql.SaveMode import org.apache.spark.sql.types.StructField import org.apache.spark.sql.types.StructType import org.apache.spark.sql.types.IntegerType import org.apache.spark.sql.types.StringType import org.apache.spark.sql.Row object WriteDatatoHive { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WriteDatatoHive").setMaster("local") val context = new SparkContext(conf) val rdd = context.parallelize(List(("wd",22),("cm",25)), 2).map(x=>Row(x._1,x._2)) val builder = SparkSession.builder() .appName("hiveApp") .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/") .enableHiveSupport() .getOrCreate() //import builder.implicits._ import builder.implicits._ val personShcema = StructType( List( //下面为一个列的描述,分别为 列名,数据类型,是否为空 StructField("name",StringType,true), StructField("age",IntegerType,true) ) ) val personDF = builder.createDataFrame(rdd, personShcema) personDF.createOrReplaceTempView("personm") //这个可以存储数据与hiveSQL兼容 builder.table("personm").write.insertInto("test.person") //builder.sql("select * from personm").write.option("spark.sql.hive.convertMetastoreParquet", false) //.mode(SaveMode.Append).saveAsTable("test.person") context.stop() } } case class person(name:String,age:Int)
关于“spark如何写入hive数据”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
文章名称:spark如何写入hive数据
当前路径:http://myzitong.com/article/gejpsi.html