sparkwithhive的用法示例
这篇文章主要介绍了spark with hive的用法示例,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
创新互联是一家专注于成都网站建设、网站制作与策划设计,九龙坡网站建设哪家好?创新互联做网站,专注于网站建设10多年,网设计领域的专业建站公司;建站业务涵盖:九龙坡等地区。九龙坡做网站价格咨询:18982081108
//需要spark-hive project package hgs.spark.hive import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.hive.conf.HiveConfUtil import org.apache.spark.sql.SparkSession //注:需要将hive-site.xml放到当前工程的classpath下面 object SparkWithHive { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("hive").setMaster("local") val context = new SparkContext(conf) val builder = SparkSession.builder() .appName("hiveApp") .config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/") .enableHiveSupport() .getOrCreate() import builder.implicits //test库下面的test表 ssql.show()可以打印表的信息 val ssql = builder.sql("select a.id,b.name,b.age+10 bigage from test.test a,test.test1 b where a.id = b.id") //这里转换为rdd进行操作,转换为三元的tuple, List((1,hgs,26), (2,wd,24), (3,zz,25), (4,cm,24)) val list = ssql.rdd.map(x=>(x(0),x(1),x(2))).collect() println(list.toList) context.stop() } }
感谢你能够认真阅读完这篇文章,希望小编分享的“spark with hive的用法示例”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!
分享标题:sparkwithhive的用法示例
文章源于:http://myzitong.com/article/joecep.html