spark性能优化要注意哪几点-创新互联

spark性能优化要注意哪几点,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

创新互联长期为1000多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为杭锦企业提供专业的成都网站设计、成都做网站,杭锦网站改版等技术服务。拥有十余年丰富建站经验和众多成功案例,为您定制开发。

一.优化方向,序列化

1.官网位置

spark性能优化要注意哪几点

2.解释:

默认用的是java序列化,但是会很慢,第二种很快,但是不一定能实现所有序列化
第二种,有些自定义类你需要在代码中注册(Kryo)

3.StorageLevel.MEMORY_ONLY) 方式存储代码

  def main(args: Array[String]) {
    val sparkConf = new SparkConf()
    val sc = new SparkContext(sparkConf)
    val names = Array[String]("G304","G305","G306")
    val genders = Array[String]("male","female")
    val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou")
    val infos = new ArrayBuffer[Info]()
    for (i<-1 to 1000000){
      val name = names(Random.nextInt(3))
      val gender = genders(Random.nextInt(2))
      val address = addresses((Random.nextInt(4)))
      infos += Info(name, gender, address)
    }
    val rdd = sc.parallelize(infos)
    rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rdd.count()
    // rdd.persist(StorageLevel.MEMORY_ONLY)
    sc.stop()
  }
  case class Info(name:String, gender:String, address:String)
}

4.结果34.3 java序列化默认

spark性能优化要注意哪几点

二.Kyro序列化

1.配置文件位置及配置(spark.serialize)在spark-default.conf

spark性能优化要注意哪几点

2.代码

 def main(args: Array[String]) {
    val sparkConf = new SparkConf()
    sparkConf.registerKryoClasses(Array(classOf[Info]))
    val sc = new SparkContext(sparkConf)
    val names = Array[String]("G304","G305","G306")
    val genders = Array[String]("male","female")
    val addresses = Array[String]("beijing","shenzhen","wenzhou","hangzhou")
    val infos = new ArrayBuffer[Info]()
    for (i<-1 to 1000000){
      val name = names(Random.nextInt(3))
      val gender = genders(Random.nextInt(2))
      val address = addresses((Random.nextInt(4)))
      infos += Info(name, gender, address)
    }
    val rdd = sc.parallelize(infos)
    rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    rdd.count()
    // rdd.persist(StorageLevel.MEMORY_ONLY_SER)
    sc.stop()

3.没注册情况下截图

spark性能优化要注意哪几点

4.官网没注册结果

spark性能优化要注意哪几点

5.加上一句话,否则所有的东西都要加入变大

sparkConf.registerKryoClasses(Array(classOf[Info]))

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联-成都网站建设公司行业资讯频道,感谢您对创新互联的支持。


网页标题:spark性能优化要注意哪几点-创新互联
文章网址:http://myzitong.com/article/dcccee.html