怎么进行Sparkexample的运行过程分析

这篇文章将为大家详细讲解有关怎么进行Spark example的运行过程分析,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

创新互联建站基于成都重庆香港及美国等地区分布式IDC机房数据中心构建的电信大带宽,联通大带宽,移动大带宽,多线BGP大带宽租用,是为众多客户提供专业雅安服务器托管报价,主机托管价格性价比高,为金融证券行业服务器托管,ai人工智能服务器托管提供bgp线路100M独享,G口带宽及机柜租用的专业成都idc公司。

pom.xml

  1.     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

  2.     4.0.0

  3.     active

  4.     spark-test

  5.     0.0.1-SNAPSHOT

  6.     

  7.         

  8.             org.apache.spark

  9.             spark-core_2.10

  10.             2.1.0

  11.         

  12.     

SparkTest.java

  1. import java.util.Arrays;

  2. import org.apache.spark.SparkConf;

  3. import org.apache.spark.api.java.JavaPairRDD;

  4. import org.apache.spark.api.java.JavaRDD;

  5. import org.apache.spark.api.java.JavaSparkContext;

  6. import scala.Tuple2;

  7. public class SparkTest {

  8.     public static void main(String[] args) {

  9.         SparkConf conf = new SparkConf().setAppName("Test").setMaster("local");

  10.         JavaSparkContext sc = new JavaSparkContext(conf);

  11.         JavaRDD file = sc.parallelize(Arrays.asList("Hello test", "Hello test2", "dds"));

  12.         JavaRDD words = file.flatMap(s -> Arrays.asList(s.split(" |\t|\n|\r")).iterator());

  13.         JavaPairRDD counts = words.mapToPair(s -> new Tuple2(s, 1));        

  14.         counts = counts.reduceByKey((x, y) -> x + y);

  15.         

  16.         System.out.println(counts.collect());

  17.         sc.close();

  18.     }

  19. }

可以单独运行,也可以提交到spark集群: spark-submit.cmd --class SparkTest D:\workspace\spark-test\target\spark-test-0.0.1-SNAPSHOT.jar

关于怎么进行Spark example的运行过程分析就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


网页题目:怎么进行Sparkexample的运行过程分析
网页网址:http://myzitong.com/article/gecehi.html