python 기초 10

✍🏻 배운점

 

통계 데이터를 가져와 다른 파생 변수를 만들어 유의미한 데이터를 만들 수 있다는 것을 알게 되었다.

 

 

📁 목차

1. 5개 브랜드 편의점 데이터 확인하기
2. 통계청 인구수(연령별 인구현황) 데이터 가져오기
3. 인구수 대비 편의점 점유율 구하기
4. 서울시 구별 가장 많이 존재하는 편의점 브랜드 찾기

 

 

---

 

 

 

들어가며

 

5개 편의점 데이터를 가지고 진행하였습니다. 전달 받은 데이터가 완벽하지 않아서, 추후에 각 편의점 데이터를 가져오는 방법에 대해 다시 포스팅 할 예정입니다.

 

 

 

 

 

 

 

5개 브랜드 편의점 데이터 확인하기

 

 

전국 5개 편의점 정보 데이터가 담긴 pkl 파일을 열어, 데이터를 탐색해보자.

 

import pandas as pd
import numpy as np

df = dp.read_pickle("./5store.pkl")

 

먼저, 데이터의 결측치의 개수를 확인해보자.

 

df.isnull().sum()

 

DataFrame 에서 null 값을 찾고 column 단위로 묶어 개수를 확인해볼 수 있다.

 

 

그리고, 편의점 브랜드별 총 점포 개수도 구해볼 수 있다.

 

df['brand'].value_counts()

 

브랜드별 value 값 개수들을 카운트해준다.

 

 

편의점들을 지역별로 구분하기 위해서, 주소 column 에서 지역에 해당하는 문자열만 뽑아 통일해주는 작업이 필요하다.

 

# 먼저, 고유한 값만 찾아본다. (동시에, 이상한 값 있는지 확인 가능)
df['address'].apply(lambda x : x.split()[0]).unique()

# 시/도 값 고유 총 개수 찾기
df['address'].apply(lambda x : x.split()[0]).value_counts()

 

주소가 담긴 문자열을 공백 기준 자르고 먼저 나오는 값이 시/도 가 나와야한다.

 

이상치나 중의적 표현들을 하나로 통일해주자.

 

 

먼저, '경기'로 시작하는 모든 주소를 찾아보자.

 

 # '경기'가 0번째 index 에 있는 값에서 주소가 고유한 값 찾기
df[df['address'].str.find("경기") == 0]['address'].apply(lambda x : x.split()[0]).unique()

 

'경기' 로 시작하는 address 의 고유값만 나오게 된다.

 

이제, 이상치들을 알았으니 바꿔주도록 하자.

 

 

바꾸기 전, 주소값들의 양옆 공백들을 제거해준다.

 

df['address'] = df['address'].apply(lambda x: x.strip())

 

strip() 메서드를 사용하여 주소값의 양옆 공백들을 제거했다.

 

 

df.loc[df['address'].str.find("경기") == 0, '시'] = '경기도'

# '시' column 확인
df['시'].value_counts()

 

 

그리고 '경기'로 시작하는 주소들을 찾고 '시' column 을 만들어 '시' column 에 모두 '경기도' 로 저장된다.

 

 

df.loc[(df['address'].str.find("부산") == 0), '시'] = '부산광역시'
df.loc[(df['address'].str.find("대전") == 0), '시'] = '대전광역시'
df.loc[(df['address'].str.find("광주") == 0), '시'] = '광주광역시'
df.loc[(df['address'].str.find("대구") == 0), '시'] = '대구광역시'
df.loc[(df['address'].str.find("울산") == 0), '시'] = '울산광역시'
df.loc[(df['address'].str.find("인천") == 0), '시'] = '인천광역시'
df.loc[(df['address'].str.find("강원") == 0), '시'] = '강원도'
df.loc[(df['address'].str.find("세종") == 0), '시'] = '세종특별자치시'
df.loc[(df['address'].str.find("제주") == 0), '시'] = '제주특별자치도'
df.loc[(df['address'].str.find("경북") == 0) |
        (df['address'].str.find("경상북도") == 0), '시'] = '경상북도'
df.loc[(df['address'].str.find("전북") == 0) |
        (df['address'].str.find("전라북도") == 0), '시'] = '전라북도'
df.loc[(df['address'].str.find("전남") == 0) |
        (df['address'].str.find("전라남도") == 0), '시'] = '전라남도'
df.loc[(df['address'].str.find("충북") == 0) |
        (df['address'].str.find("충청북도") == 0), '시'] = '충청북도'
df.loc[(df['address'].str.find("충남") == 0) |
        (df['address'].str.find("충청남도") == 0), '시'] = '충청남도'
df.loc[(df['address'].str.find("경남") == 0) |
        (df['address'].str.find("경상남도") == 0), '시'] = '경상남도'

 

마찬가지로 같은 방법으로 다른 주소들도 시,도 통합을 진행해주었다.

 

df = df[~df[['brand', 'shopName']].duplicated()].copy()

 

그리고 브랜드와 지점명이 동일한 중복값들을 찾아 제거해준 것으로 다시 df 에 저장한다.

 

 

이제, '시' column 에 null 값으로 들어간 데이터들을 찾아보자.

 

df[df['시'].isnull()]

 

주소값이 저장된 형태가 이상하기 때문에, '시' column 에 Nan 값이 들어간 것을 확인할 수 있다.

 

나중에 따로 처리해주어야 하는 값들이다. (index 조정 후 진행)

 

df 의 index 를 보면 앞에서 진행한 과정 때문에, 뒤죽박죽이라 재설정하는 과정이 필요하다.

 

# df index 재설정
# drop = True : 새로운 column 으로 추가되지 않는다.
# inplace = True : 바로 해당 df 에 적용된다.
df.reset_index(drop=True, inplace=True)

 

reset_index() 메서드를 사용하여, df 의 index 를 다시 재정의 했다.

 

df.loc[24549, "address"] = "서울시 서대문구 충정로7 구세군빌딩1층"
df.loc[df['address'].str.find("창원") == 0, "시"] = '경상남도'
df.loc[30712, '시'] = '경기도'
df.loc[33001, '시'] = '부산광역시'
df.loc[33723, '시'] = '충청남도'
df.loc[33985, '시'] = '충청남도'

df[df['시'].isnull()] # null 값 없음

 

마지막으로, 나중에 따로 처리해주기로 한 값을 처리했다.

 

이제, 시, 도 별 구분을 완료 했기 때문에 전국 시,도별 편의점 점유율을 구해볼 수 있다.

 

df['시'].value_counts(normalize=True) # 시, 도별 편의점 비율

 

17개의 시, 도 별 비율값을 알 수 있다. 0과 1 사이의 비율로 나오며, 전체 비율의 합은 1이다.

 

 

 

 

통계청 인구수(연령별 인구현황) 데이터 가져오기

 

인구 수 대비 편의점 점유율을 구하기 위해, 통계청 인구수 데이터를 가져오도록 하자.

 

 

https://jumin.mois.go.kr/ageStatMonth.do

 

해당 페이지에서 데이터를 가져올 수 있다. 기간을 선택하고, 검색 버튼을 누르면 payload 값을 확인할 수 있다.

 

2023년 2월 기준 데이터를 가져오도록 하자.

 

import requests

stat_url = "https://jumin.mois.go.kr/ageStatMonth.do"

pay = {"tableChart": "T",
        "sltOrgType": "1",
        "sltOrgLvl1": "A",
        "sltOrgLvl2": "A",
        "sltUndefType": "",
        "nowYear": "2023",
        "searchYearMonth": "year",
        "searchYearStart": "2023",
        "searchMonthStart": "02",
        "searchYearEnd": "2023",
        "searchMonthEnd": "02",
        "sum": "sum",
        "gender": "gender",
        "sltOrderType": "1",
        "sltOrderValue": "ASC",
        "sltArgTypes": "10",
        "sltArgTypeA": "0",
        "sltArgTypeB": "100",}
        
r = requests.post(stat_url, data=pay)

korea = pd.read_html(r.text)[2]

 

post 방식으로 접근하고, 우리가 원하는 데이터가 html 의 table 구조 안에 있기 때문에, read_html 을 사용하여 인구수 데이터를 가져올 수 있다.

 

 

 

 

인구수 대비 편의점 점유율 구하기

 

인구수 데이터와 편의점 데이터 구조를 맞춰주고 두 DataFrame 을 합치도록 하자.

# 인구수 데이터 가져오기(행정기관 및 해당기간 인구수)
인구 = korea.iloc[1: [0, 1]]

# 시,도별 편의점 총 개수 데이터 가져오기
편의점 = pd.DataFrame(df['시'].value_counts())


# 행정기관 clolumn 을 index 로 지정해주기
인구.set_index("행정기관", inplace=True)

# index 로 잘 되었는지 확인하기
인구.head()

 

인구수 데이터와 편의점 데이터의 구조를 맞췄으니, 인구대비 데이터를 만들 수 있다.

 

# 인구 df 기준으로, 편의점 df 를 합친다.
인구대비 = pd.merge(인구, 편의점, left_index=True, right_index=True, how='left')

# 인구대비 columns 명을 설정해준다.
인구대비.columns = ['인구수', '편의점수']

# 인구대비 편의점 점유율 columns 을 추가해준다.
인구대비['점유율'] = 인구대비['인구수'] / 인구대비['편의점수']

 

인구 df 와 편의점 df 를 merge() 메서드를 통해 df 를 하나로 통합해주고, 인구대비 편의점 점유율 column 을 추가해주었다.

 

이제, 인구대비 점유율이 가장 높은 시,도를 알아보자.

 

인구대비.sort_values(by=['점유율'], ascending=False)

 

현재(2023년 2월 말)기준으로, 세종특별자치시가 인구대비 편의점 수가 많은 것으로 나타났다.

 

 

 

서울시 구별 가장 많이 존재하는 편의점 브랜드 찾기

 

이번에는 서울특별시에서 구마다 가장 많이 존재하는 편의점 브랜드를 찾아보도록 하자.

 

먼저, 서울특별시에 해당하는 데이터를 가져오고, '구' 데이터를 만들어야 한다.

 

# 서울특별시에 해당하는 편의점 데이터만 가져오고 저장한다. *copy() 하지 않으면 경고발생
seoul = df.query("시" == "서울특별시").copy()

# 서울시 '구' 데이터 만들기
seoul['구'] = seoul['address'].apply(lambda x : x.split()[1])

# 확인용
seoul['구'].unique()

 

구 column 도 추가해주었으니, 이제 구 별 가장 많이 존재하는 편의점 브랜드를 알 수 있다.

 

 

# 구, brand 별 편의점 개수 : 방법 1
seoul.gropuby(['구', 'brand'])[['구']].count()

# 구, brand 별 편의점 개수 : 방법 2
seoul_2 = seoul.groupby(['구', 'brand'], as_index=False)[['shopName']].count()

# 가장 많은 편의점 수로, 구와 brand 명, 가게 수
seoul_2.sort_values(by=['shopName'], ascending=False)

# 구별 개수 가장 많은 편의점 - 첫번째 행만 가져옴
seoul_2.sort_values(by=['shopName'], ascending=False).groupby(['구']).first()

# 구에서 가장 많은 편의점 - 첫번째 행만 가져옴
seoul_2.sort_values(by=['shopName'], ascending=False).groupby(['구']).nth(1)

# 구별 가장 적은 편의점 brand 와 해당 brand 명 - 마지막 행만 가져옴
seoul_2.sort_values(by=['shopName'], ascending=False).groupby(['구']).nth(-1)

 

정렬 방법과 사용하는 메서드에 따라, 여러 데이터 결과를 구할 수 있다.