python 기초 14

 

✍🏻 배운점

 

파이썬의 GIL 과 멀티프로세싱에 대해 이해할 수 있었고, 데이터를 만들기 위한 여러 메서드들 그리고 전처리 방법들을 배울 수 있었다.

 

 

📁 목차

1. map
2. reduce
3. filter
4. multiprocessing
5. 깔끔한 데이터의 조건
6. locals
7. concat
8. 결측치 개수
9. DataFrame index 초기화
10. 지하철 이용 정보 데이터 합치기

 

 

---

 

 

 

들어가며

 

지하철 이용 정보 데이터는 2016 년 기준 데이터로, 1월부터 12월까지 1년간의 데이터로 정리되어 있는 자료를 사용했습니다.

다음 포스팅에 이어서 활용할 계획입니다.

 

 

 

 

 

 

map

 

list 에 map 을 사용하면, for 문을 사용해야 하는 과정을 간단하게 처리할 수 있다.

 

a = [ 1.5, 2.3, 6.3 ]

# int 로 모두 바꾸어 리스트로 저장
a1 = list(map(int, a))

# int 로 바꾸면서 * 10 리스트로 저장
a2 = list(map(lambda x : int(x) * 10, a))

 

이렇게, 간단한 한 줄 코드로 반복문 없이 수식을 통해 적용할 수 있다.

 

 

 

 

reduce

 

파이썬에서 functools 모듈의 reduce 메서드를 통해, 리스트나 튜플의 원소를 누적으로 함수를 적용할 수 있다.

 

from functools import reduce

# reduce(적용시킬 함수, 리스트 혹은 튜플)
reduce(lambda x, y : x + y, [1, 2, 3, 4, 5])

 

reduce 메서드를 사용하여, x + y 함수를 적용하면,

 

1(0 번째 값) + 2(1번째 값) = 3 (누적 합)

3(누적 합) + 3(2번째 값) = 6 (누적 합)

6(누적 합) + 4(3번째 값) = 10 (누적 합)

10(누적 합) + 5(4번째 값) = 15 (누적 합)

 

으로, 간단하게 1부터 5까지의 합을 구할 수 있다.

 

 

 

 

filter

 

파이썬에서 filter 메서드를 통해, 특정 조건에 만족하는 값만 바로 가져올 수 있다.

 

test = [1, 2, 3, 4, 5, 6]

# filter(적용시킬 함수(조건), 리스트 혹은 튜플)
list(filter(lambda x : x % 2 == 0, test))

 

filter 메서드를 통해 특정 조건을 만들어주는 lambda 함수를 사용하여 이렇게 짝수만 가져올 수 있다.

 

 

 

 

 

multiprocessing

 

파이썬에서는, 멀티프로세싱을 지원해주는 Pool 클래스가 있다.

 

from multiprocessing import Pool

 

Pool 클래스를 사용하여, 멀티프로세싱으로 병렬처리를 할 수 있어서, 대용량 데이터를 다루어야 하는 경우 유용하다.

 

단, 메모리 사용량이 증가할 수 있고, 오버헤드가 발생할 수 있기 때문에 유의해야 한다.

 

 

특히, 파이썬에서의 GIL(Global Interpreter Lock) 에 의해 파이썬 인터프리터에서 동시에 여러 스레드가 실행될 수 없다.

 

 

- 멀티프로세싱
여러 개의 프로세스를 사용하여 작업 처리
여러 CPU 코어를 사용하여 병렬로 작업 처리 가능

- 멀티스레딩
하나의 프로세스 안에서 여러 개의 스레드를 사용하여 작업 처리
파이썬에서는 GIL 때문에 멀티스레딩으로 인한 병렬성 향상은 어려움

- 스레드
프로세스 실행 단위
하나의 프로세스 내에서 공유된 메모리 영역을 가지므로 작업 처리의 병렬성을 가질 수 있음
그러나, 하나의 GIL 에 의해 제한을 받기 때문에 병렬성 보장 안됨

 

 

즉, 파이썬에서는 멀티프로세싱을 이용한 병렬처리는 가능하지만, GIL 에 의해서 멀티스레딩을 통한 병렬처리는 어려움이 있다.

 

 

 

 

깔끔한 데이터의 조건

 

- 데이터 분석 목적에 맞는 데이터를 모아 새로운 table 을 만들어야 한다.

- 측정한 값은 row 를 구성해야 한다.

- 변수는 columns 로 구성해야 한다.

 

항상 위 세 가지 조건에 맞도록 데이터를 구성하도록 하자.

 

 

 

 

locals

 

locals() 메서드를 사용하여 로컬 네임스페이스에 변수를 동적으로 추가할 수 있다.

 

# data : concat_1.csv, concat_2.csv, concat_3.csv
for file in os.listdir("./data"):
    locals()[f'{file.split(".")[0]}'] = pd.read_csv(f"./data/{file}")

 

data 라는 디렉토리에 있는 모든 파일들을 읽어와서, 파일들의 확장자명을 제외한 파일 이름을 로컬 변수로 할당하고, 그 로컬 변수에 해당 파일 데이터를 읽어서 저장할 수 있다.

 

 

 

 

concat

 

pandas 의 concat 메서드를 통해, series 나 df 형태끼리 혹은, series 와 df 끼리 여러 형태로 합칠 수 있다.

 

import pandas as pd

row_concat = pd.concat([concat_1, concat_2, concat_3])

df = pd.concat([row_concat, pd.Series(['n1', 'n2', 'n3', 'n4'])])

row_concat

df

이렇게, DataFrame 끼리 합쳐 row_concat 이라는 DataFrame 을 만들 수 있고, DataFrame 과 Series 형태끼리 합쳐 새로운 DataFrame인 df 를만들 수 있다.

 

 

 

결측치 개수

 

DataFrame 의 결측치를 확인할 때 사용하는 메서드인 isnull() 을 사용하여, 결측치의 개수를 확인해보자.

 

df.isnull().sum() # 각 행과 열의 결측치 수

df.isnull().sum().sum() # 전체 결측치 수

 

 

 

DataFrame index 초기화

 

DataFrame 의 index 값들을 초기화하는 메서드인 reset_index() 통해, 기존 index 를 제거해주자.

 

df.reset_index(drop=True, inplace=True)

 

drop 과 inplace 를 적용하여 df 의 기존 index 를 제거하고 원본 df 에 바로 적용하도록 했다.

 

 

 

 

지하철 이용 정보 데이터 합치기

 

지하철 이용 정보가 담긴 csv 파일들을, 각 파일의 정보를 하나의 데이터로 합치도록 하자.

 

import pandas as pd
import numpy as np
import os

total_df = pd.DataFrame()

for file in os.listdir("./subway"):
    temp = pd.read_csv(f"./subway/{file}" , encoding='euc-kr')
    
    if temp.columns.size == 24:
        
        temp['호선'] = np.NaN
        temp['할인']= np.NaN
        temp['04 ~ 05'] = np.NaN
        temp['02 ~ 03'] = np.NaN
        temp['03 ~ 04'] = np.NaN
        
        temp.columns = ['날짜', '호선', '역명', '구분', '할인', '04 ~ 05', '05 ~ 06', '06 ~ 07',
       '07 ~ 08', '08 ~ 09', '09 ~ 10', '10 ~ 11', '11 ~ 12', '12 ~ 13',
       '13 ~ 14', '14 ~ 15', '15 ~ 16', '16 ~ 17', '17 ~ 18', '18 ~ 19',
       '19 ~ 20', '20 ~ 21', '21 ~ 22', '22 ~ 23', '23 ~ 24', '00 ~ 01',
       '01 ~ 02', '02 ~ 03', '03 ~ 04']
        
    
    else :
        temp.columns = ['날짜', '호선', '역명', '구분', '할인', '04 ~ 05', '05 ~ 06', '06 ~ 07',
       '07 ~ 08', '08 ~ 09', '09 ~ 10', '10 ~ 11', '11 ~ 12', '12 ~ 13',
       '13 ~ 14', '14 ~ 15', '15 ~ 16', '16 ~ 17', '17 ~ 18', '18 ~ 19',
       '19 ~ 20', '20 ~ 21', '21 ~ 22', '22 ~ 23', '23 ~ 24', '00 ~ 01',
       '01 ~ 02', '02 ~ 03', '03 ~ 04']
    
    total_df = pd.concat([total_df, temp])

 

먼저, 각 파일들마다 columns 의 개수와 name 이 상이하기에 이를 똑같이 맞춰주는 작업을 진행하고, DataFrame 을 concat 메서드를 통해 계속 합치며 모든 파일의 지하철 이용 정보가 들어간 하나의 DataFrame 으로 만들어준다.