如何用Python写spark

1.RDD是PariRDD类型

我们提供的服务有：成都做网站、成都网站设计、成都外贸网站建设、微信公众号开发、网站优化、网站认证、澧县ssl等。为千余家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的澧县网站制作公司

def add1(line):

return line[0] + line[1]

def add2(x1,x2):

return x1 + x2

sc = SparkContext(appName="gridAnalyse")

rdd = sc.parallelize([1,2,3])

list1 = rdd.map(lambda line: (line,1)).map(lambda (x1,x2) : x1 + x2).collect() #只有一个参数，通过匹配来直接获取（赋值给里面对应位置的变量）

list1 = rdd.map(lambda line: (line,1)).map(lambda x1,x2 : x1 + x2).collect() #错误，相当于函数有两个参数

list2 = rdd.map(lambda line: (line,1)).map(lambda line : line[0] + line[1]).collect() #只有一个参数，参数是Tuple或List数据类型，再从集合的对应位置取出数据

list3 = rdd.map(lambda line: (line,1)).map(add1).collect() #传递函数，将Tuple或List类型数据传给形参

list4 = rdd.map(lambda line: (line,1)).map(add2).collect() #错误，因为输入只有一个，却有两个形参

当RDD是PairRDD时，map中可以写lambda表达式和传入一个函数。

a、写lambda表达式：

可以通过(x1,x2,x3)来匹配获取值；或者使用line获取集合，然后从集合中获取。

b、传入函数

根据spark具体的transaction OR action 操作来确定自定义函数参数的个数，此例子中只有一个参数，从形参（集合类型）中获取相应位置的数据。

求教python有没有一种方法可以输入函数名调

def xxx(f, x, y):

return eval(f+"("+str(x)+", "+str(y)+")")

python中函数也可以作为参数传递, 所以你可以直接传递函数, 而不是函数名.

Python code?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

In [350]: def f(x, y):

...: return x+y

...:

In [352]: def usefunc(func, x, y):

...: return func(x, y)

...:

In [353]: usefunc(f, 10, 20)

Out[353]: 30

In [354]: def g(x, y):

...: return x*y

...:

In [355]: usefunc(g, 10, 20)

Out[355]: 200

如果确实需要用函数名(字符串)来确定函数, 最好的办法是自己建一个字典, 来保存允许用户使用的函数名, 例如

1

functions = {'double': lambda x: x*2, "triple": lambda x: x*3}

eval是很危险的办法, 尤其是函数名是由你无法控制的用户输入时.

利用Python进行数据分析(12)-高阶应用transform

本文中详解介绍了 pandas 中 transform() 方法的使用

Accepted combinations are:

{0 or ‘index’, 1 or ‘columns’}, default 0 If 0 or ‘index’: apply function to each column. If 1 or ‘columns’: apply function to each row.

Positional arguments to pass to func.

Keyword arguments to pass to func.

A DataFrame that must have the same length as self.

If the returned DataFrame has a different length than self.

transform方法通常是和groupby方法一起连用的

每个位置被均值取代

内建的聚合函数直接传递别名，max\min\sum\mean

向tranform中直接传递函数

在这个网站上有一个完整的实例，解释了transform方法的使用

You can see in the data that the file contains 3 different orders (10001, 10005 and 10006) and that each order consists has multiple products (aka skus).

The question we would like to answer is: “What percentage of the order total does each sku represent?”

For example, if we look at order 10001 with a total of $576.12, the break down would be:

求出不同商品在所在订单的价钱占比

先求出一列占比的值，再和原始数据进行合并merge

Transform + groupby连用：先分组再求和

看看Python语言有哪些不被大牛们喜欢的编程方式

Python编程方式特点，可能并不能被每一个人接受。每个IT人式都有自己喜欢的语言和自己喜欢的编程方式，特别是跨语言开发者最讨厌的编程语言各大有不同。打个比方，如果你习惯用A语言来编程，那么可能会对其他语言的某些特性看不惯。但这并不代表这种语言就不好，所以今天我们就来看一下IT界大牛们都对哪些编程语言有不满，特别是Python语言的不足之处。

Visual Basic VB相较于Python语言真的好陌生。Visual Basic语法被认为过于冗长和陌生，需要动态链接库才能去运行它的代码；对于面向对象编程的支持很有限；如何避免Visual Basic的不足之处：避免为开发老旧的Windows应用程序的公司工作。

第二名：Java 语法冗长的代码，没有python那么简洁真的很让人头疼，而且Java还不容易传递函数；Java的API过度设计全它能做的，其他语言其实也都轻松的能做，和它相比又更加高效。Java语言的爱好者们只要不使用Android SDK来开发任何应用程序就可以了。

第一名：PYTHON语言： IT程序员的大牛们认为Python语言的不足之处：代码缩进是用来指定块的结构，感觉用括号或大括号更好。 同时大量使用冒号和下划线，模块、变量名冲突等。python 变量命名 如何避免Python编程方式的不足：不要去Google、Yahoo或NASA工作，但这里又是程序员们向往的地方。

第三名：PHP 大量函数存在不一致的命名约定；安全漏洞；无法原生支持Unicode；经常被混和在一些演示代码（如HTML、CSS）中。 如何避免：如果你从事Web方面的工作，这是很难避免的。如果你喜欢PHP语言，那么只要在你不在熟悉操作之前不去Facebook工作，不用Wikimedia、Wordpress、Joomla和Drupal就可以安然无恙了。

第四名：C++ 庞大的函数集；手动内存管理；编译速度慢；事实上，它允许程序员在同一程序中同时使用面向对象和面向过程的编程模式。 只要你不要去Adobe、Google或游戏领域工作就不会有麻烦。

第五名：COBOL 对这种语言大家可能不是很塑像，它是一种面向商业的通用语言，又称为企业管理语言、数据处理语言等。COBOL是一种面向数据处理的、面向文件的、面向过程（POL）的高级编程语言，是一种功能很强而又极为冗长的语言。 COBOL有着极其繁琐的语法，而且各种版本之间也并不不兼容。COBOL同时也缺乏面向对象编程、函数和指针等特性。 这样的编程方式怎么样才能避免：不要去 政府、金融领域或军用企业工作。

关于python装饰器的问题

装饰器函数参数要传函数，而不是字符串。

装饰器函数特点:

1，参数为函数对象

2，使用内部函数

3，返回函数对象

在你的代码中:

装饰器函数是arg_func(sex)

内部函数是func1()

被装饰函数是man()和woman()

所以代码要改成:

def arg_func(sex):

def func1():

sex()

if(sex.__name__=='man'):

print("you can 't")

if(sex.__name__=='woman'):

print("you can")

return func1

@arg_func

def man():

print('good good study')

@arg_func

def woman():

print('good good study')

man()

woman()

PS:装饰器就是为了简化代码，增加可读性，方便团队开发，在不修改原函数代码的前提下，通过封装修改功能，而@修饰就是为了通过原函数名调用时，不直接执行原函数，而是把原函数传递到装饰器函数，通过内部函数(闭包)来调用原函数。这样好处，就是统一调用方式。

分享题目：python传递函数 python函数引用传递
标题路径：http://myzitong.com/article/hijojd.html