Cum să fuzioneze cu elemente înțelept două RDDs

voturi
0

Să presupunem că am două RDDs cum ar fi

primul

1
2
3
4
5

al doilea

6
7
8
9
10

Noul DZR ar fi

1 6
2 7
3 8
4 9
5 10

Deci, acest lucru este, în principiu element de înțelept îmbinați ... Presupunem că cele două RDDs sunt de aceeași dimensiune.

Întrebat 18/05/2015 la 06:45
sursa de către utilizator
În alte limbi...                            


1 răspunsuri

voturi
5

Puteți utiliza Spark lui zip funcție. Conform doc:

>>> x = sc.parallelize(range(0,5))
>>> y = sc.parallelize(range(1000, 1005))
>>> x.zip(y).collect()
[(0, 1000), (1, 1001), (2, 1002), (3, 1003), (4, 1004)]

Fiți conștienți de faptul că această funcție presupune același număr de partiții și același număr de elemente din ambele RDDs.

Publicat 18/05/2015 la 07:00
sursa de către utilizator

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more