spark性能优化要注意哪几点
spark性能优化要注意哪几点,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
信州网站制作公司哪家好,找创新互联!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。创新互联2013年至今到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联。
一.优化方向,序列化
1.官网位置
2.解释:
默认用的是java序列化,但是会很慢,第二种很快,但是不一定能实现所有序列化 第二种,有些自定义类你需要在代码中注册(Kryo)
3.StorageLevel.MEMORY_ONLY) 方式存储代码
def main(args: Array[String]) { val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf) val names = Array[String]("G304","G305","G306") val genders = Array[String]("male","female") val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou") val infos = new ArrayBuffer[Info]() for (i<-1 to 1000000){ val name = names(Random.nextInt(3)) val gender = genders(Random.nextInt(2)) val address = addresses((Random.nextInt(4))) infos += Info(name, gender, address) } val rdd = sc.parallelize(infos) rdd.persist(StorageLevel.MEMORY_ONLY_SER) rdd.count() // rdd.persist(StorageLevel.MEMORY_ONLY) sc.stop() } case class Info(name:String, gender:String, address:String) }
4.结果34.3 java序列化默认
二.Kyro序列化
1.配置文件位置及配置(spark.serialize)在spark-default.conf
2.代码
def main(args: Array[String]) { val sparkConf = new SparkConf() sparkConf.registerKryoClasses(Array(classOf[Info])) val sc = new SparkContext(sparkConf) val names = Array[String]("G304","G305","G306") val genders = Array[String]("male","female") val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou") val infos = new ArrayBuffer[Info]() for (i<-1 to 1000000){ val name = names(Random.nextInt(3)) val gender = genders(Random.nextInt(2)) val address = addresses((Random.nextInt(4))) infos += Info(name, gender, address) } val rdd = sc.parallelize(infos) rdd.persist(StorageLevel.MEMORY_ONLY_SER) rdd.count() // rdd.persist(StorageLevel.MEMORY_ONLY_SER) sc.stop()
3.没注册情况下截图
4.官网没注册结果
5.加上一句话,否则所有的东西都要加入变大
sparkConf.registerKryoClasses(Array(classOf[Info]))
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。
分享文章:spark性能优化要注意哪几点
文章URL:http://myzitong.com/article/gdjohe.html