آموزش آماده سازی داده ها در پایتون: ادغام، گروه بندی و اتصال

0 دیدگاه

پردازش داده یا Data Wrangling شامل آماده سازی و تغییر داده‌ها در قالب های مختلف مانند ادغام (merging)، گروه بندی (grouping)، اتصال (concatenating) و سایر روش ها است تا بتوان آن ها را تحلیل کرد یا برای استفاده در کنار مجموعه داده‌های دیگر آماده نمود. زبان پایتون ابزارهای داخلی متعددی برای اجرای این روش ها روی انواع مجموعه داده‌ها دارد تا به اهداف تحلیلی برسیم. در این بخش، چند مثال عملی برای توضیح این روش ها بررسی می کنیم.

ادغام داده‌ها (Merging Data)

کتابخانه Pandas در پایتون یک تابع واحد به نام merge را به عنوان نقطه ورود برای همه عملیات استاندارد اتصال پایگاه داده بین اشیای DataFrame ارائه می دهد:

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True)

1 2	pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True)

در مثال زیر، دو DataFrame مختلف ایجاد می کنیم و عملیات ادغام را روی آن ها انجام می دهیم:

# import the pandas library
import pandas as pd
left = pd.DataFrame({
         'id':[1,2,3,4,5],
         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
         'subject_id':['sub1','sub2','sub4','sub6','sub5']})
right = pd.DataFrame(
         {'id':[1,2,3,4,5],
         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],
         'subject_id':['sub2','sub4','sub3','sub6','sub5']})
print left
print right

# import the pandas library

import pandas as pd

left = pd.DataFrame({

'id':[1,2,3,4,5],

'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

'subject_id':['sub1','sub2','sub4','sub6','sub5']})

right = pd.DataFrame(

{'id':[1,2,3,4,5],

'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

'subject_id':['sub2','sub4','sub3','sub6','sub5']})

print left

print right

کد بالا خروجی زیر را تولید می کند:

    Name  id   subject_id
0   Alex   1         sub1
1    Amy   2         sub2
2  Allen   3         sub4
3  Alice   4         sub6
4  Ayoung  5         sub5

    Name  id   subject_id
0  Billy   1         sub2
1  Brian   2         sub4
2  Bran    3         sub3
3  Bryce   4         sub6
4  Betty   5         sub5

Name id subject_id

0 Alex 1 sub1

1 Amy 2 sub2

2 Allen 3 sub4

3 Alice 4 sub6

4 Ayoung 5 sub5

Name id subject_id

0 Billy 1 sub2

1 Brian 2 sub4

2 Bran 3 sub3

3 Bryce 4 sub6

4 Betty 5 sub5

گروه بندی داده‌ها (Grouping Data)

گروه بندی داده‌ها یک نیاز رایج در تحلیل داده است، زمانی که بخواهیم نتایج را بر اساس گروه های مختلف موجود در مجموعه داده مشاهده کنیم. Pandas توابع داخلی برای تقسیم داده به گروه های مختلف دارد.

در مثال زیر، داده‌ها را بر اساس سال گروه بندی می کنیم و سپس داده‌های مربوط به یک سال خاص را استخراج می کنیم:

# import the pandas library
import pandas as pd

ipl_data = {'Team': ['Riders', 'Riders', 'Devils', 'Devils', 'Kings',
         'kings', 'Kings', 'Kings', 'Riders', 'Royals', 'Royals', 'Riders'],
         'Rank': [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         'Year': [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         'Points':[876,789,863,673,741,812,756,788,694,701,804,690]}
df = pd.DataFrame(ipl_data)

grouped = df.groupby('Year')
print grouped.get_group(2014)

# import the pandas library

import pandas as pd

ipl_data = {'Team': ['Riders', 'Riders', 'Devils', 'Devils', 'Kings',

'kings', 'Kings', 'Kings', 'Riders', 'Royals', 'Royals', 'Riders'],

'Rank': [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],

'Year': [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],

'Points':[876,789,863,673,741,812,756,788,694,701,804,690]}

df = pd.DataFrame(ipl_data)

grouped = df.groupby('Year')

print grouped.get_group(2014)

کد بالا خروجی زیر را تولید می کند:

   Points  Rank     Team    Year
0     876     1   Riders    2014
2     863     2   Devils    2014
4     741     3   Kings     2014
9     701     4   Royals    2014

Points Rank Team Year

0 876 1 Riders 2014

2 863 2 Devils 2014

4 741 3 Kings 2014

9 701 4 Royals 2014

اتصال داده‌ها (Concatenating Data)

Pandas ابزارهای متنوعی برای ترکیب آسان Series، DataFrame و Panel ارائه می دهد. در مثال زیر، تابع concat عملیات اتصال را در امتداد یک محور انجام می دهد.

import pandas as pd
one = pd.DataFrame({
         'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
         'subject_id':['sub1','sub2','sub4','sub6','sub5'],
         'Marks_scored':[98,90,87,69,78]},
         index=[1,2,3,4,5])
two = pd.DataFrame({
         'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],
         'subject_id':['sub2','sub4','sub3','sub6','sub5'],
         'Marks_scored':[89,80,79,97,88]},
         index=[1,2,3,4,5])
print pd.concat([one,two])

import pandas as pd

one = pd.DataFrame({

'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],

'subject_id':['sub1','sub2','sub4','sub6','sub5'],

'Marks_scored':[98,90,87,69,78]},

index=[1,2,3,4,5])

two = pd.DataFrame({

'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],

'subject_id':['sub2','sub4','sub3','sub6','sub5'],

'Marks_scored':[89,80,79,97,88]},

index=[1,2,3,4,5])

print pd.concat([one,two])

کد بالا خروجی زیر را تولید می کند:

    Marks_scored     Name   subject_id
1             98     Alex         sub1
2             90      Amy         sub2
3             87    Allen         sub4
4             69    Alice         sub6
5             78   Ayoung         sub5
1             89    Billy         sub2
2             80    Brian         sub4
3             79     Bran         sub3
4             97    Bryce         sub6
5             88    Betty         sub5