python 기초 11

 

✍🏻 배운점

 

데이터를 시각화하는 방법을 익힐 수 있었다. 지도 위 시각화, 그래프 시각화를 다룰 수 있었고 이제 다른 데이터들도 응용하여 시각화해 볼 수 있을 것 같다.

 

 

📁 목차

1. assert
2. 정규 표현식 치환
3. 5개 편의점 제공 서비스 조회하기
4. 간편하게 DB 에 연결하여 데이터 저장하기
5. 서울 지도 불러오기
6. 서울시 편의점 데이터를 지도에 시각화하기 : 서울시 편의점 점유율
7. 서울시 편의점 데이터를 지도에 시각화하기 : 서울시 GS 편의점 좌표
8. mataplotlib.pylot (plt) 그래프 한글 깨짐 현상 영구 해결하기
9. 전국 편의점 점유율 그래프 시각화하기 : 막대 그래프
10. 전국 편의점 점유율 그래프 시각화하기 : 파이 그래프

 

 

---

 

 

 

들어가며

 

지난 편의점 데이터를 가지고 시각화하였습니다. 참고부탁드립니다 :)

 

 

 

 

 

assert

 

파이썬에서 assert 는 가정 설정문으로, 개발자가 에러를 만들고 싶을때 사용한다.

 

a = 10
try:
	assert a != 10 # 여기서 에러 발생
except:
	print("Assert 에러 남") # except 에 해당하므로 출력됨

 

주로, 특정 버전들을 개발자와 사용자가 똑같이 맞춰줄 필요가 있을 때 사용한다고 한다.

 

 

 

 

정규 표현식 치환

 

파이썬에서 문자열을 정규 표현식을 사용하여 특정 문자로 치환할 수 있다.

 

import re

re.sub(정규 표현식, 치환하고 싶은 문자, 해당 문자열)

 

re 모듈의 sub() 메서드를 통해 사용하면 문자열을 특정 조건에 맞는 문자로 치환할 수 있게 된다.

 

 

 

 

5개 편의점 제공 서비스 조회하기

 

앞에서 진행한 5개 브랜드 편의점 데이터를 사용하여, 제공하는 서비스들을 조회해보자.

 

service = []

for x in 편의점['offeringService'].valuse:
	try:
    	if type(x) == list:
        	for y in x:
            	service.append(y)
        elif type(x) != float:
        	service.append(x)
    except:
    	pass


list(set(service))

 

5개 편의점 통틀어서 제공하는 서비스 항목들을 모두 service 에 넣었고 set 을 통해 중복을 제거했다.

 

# 집합으로 만듦
master = {"배송서비스": {'무인택배접수', '페덱스서비스', 'delivery_service', 'post'},
          "의약품" : {'drug', '의약품'},
          "인출서비스" : {'atm', 'ATM', 'withdrawal', 'smart_atm', '시디'}
          }

 

그리고, 성질이 같은 서비스끼리 묶어서 저장하였다.

 

 

이제, 편의점 지점들이 배송서비스, 의약품, 인출서비스 각 세 가지 서비스를 하는지 안하는지 체크하여 column 에 저장할 수 있다.

 

편의점.loc[편의점['offeringService'].notnull(), '배송서비스'] = \
편의점.loc[편의점['offeringService'].notnull(), 'offeringService'].\
apply(lambda x : 'Y' if len(set(x) & master['배송서비스']) > 0 else 'N')

# 결측치가 있다면 N 으로 저장한다.
편의점['배송서비스'] = 편의점['배송서비스'].fillna("N")

 

배송서비스(key) 에 해당하는 value 값 중 하나라도 있으면 배송서비스를 하는 지점이다.

배송서비스를 하는 지점에는 배송서비스 column 에 Y, 하지 않는 지점에는 N 을 저장한다.

 

편의점.loc[편의점['offeringService'].notnull(), '의약품'] = \
편의점.loc[편의점['offeringService'].notnull(), 'offeringService'].\
apply(lambda x : 'Y' if len(set(x) & master['의약품']) > 0 else 'N')
편의점['의약품'] = 편의점['의약품'].fillna("N")

편의점.loc[편의점['offeringService'].notnull(), '인출서비스'] = \
편의점.loc[편의점['offeringService'].notnull(), 'offeringService'].\
apply(lambda x : 'Y' if len(set(x) & master['인출서비스']) > 0 else 'N')
편의점['인출서비스'] = 편의점['인출서비스'].fillna("N")

 

의약품과 인출서비스도 위와 같은 방식으로 진행했다.

 

 

그렇다면, 세 가지 서비스를 제공하는 지점 비율을 확인해볼 수 있다.

 

편의점['배송서비스'].value_counts(normalize=True)
편의점['의약품'].value_counts(normalize=True)
편의점['인출서비스'].value_counts(normalize=True)

 

이렇게, 5개 편의점 데이터로 각 서비스를 제공하고 있는 지점 비율과 아닌 지점 비율을 확인할 수 있다.

 

 

 

 

 

간편하게 DB 에 연결하여 데이터 저장하기

 

파이썬에서는, 쿼리문을 날리지 않아도 데이터를 DB 에 넣을 수 있다.

 

from sqlalchemy import create_engine

engine = create_engine("mysql+pymysql://user_name:user_address/db_name", echo=False)

편의점.to_sql(name="convenience", if_exists='append', con=engine)

 

먼저, DB 를 연결하기 위해 create_engine 모듈에서 sqlalchemy 를 불러온다.

 

그리고, engine 에 기존 db 연결 계정과 데이터를 넣을 DB 를 표시한다.

 

to_sql() 메서드를 사용하여 편의점 데이터를 convenience 라는 테이블 명으로 바로 저장할 수 있다.

 

DB 구조를 몰라도 데이터를 넣고 빼고 삭제하는 과정까지 할 수 있다.

단, 최고의 성능은 자부할 수 없다.

또한, 해당 data 들의 자료형들을 임의로 text, bigint 등 으로 다 때려박기 때문에 일일이 자료형을 수정해야하는 번거로움이 있다.

 

 

그리고, 이러한 과정을 '객체 관계 매핑(ORM, Object-Relation Mapping)' 이라고 한다.

 

 

 

 

서울 지도 불러오기

 

파이썬에서는, folium 이라는 모듈로 지도를 띄울 수 있다.

 

import folium # 없으면 pip install folium

# 위치와 줌 크기를 설정해준다.
seoul_map = folium.Map(location=[37.55, 126.98], zoom_start=12)

seoul_map

 

folium 의 Map() 메서드를 통해 해당 위치와 줌 크기를 설정해주면, 원하는 서울 위치의 지도를 띄워준다.

 

 

 

 

 

서울시 편의점 데이터를 지도에 시각화하기 : 서울시 편의점 점유율

 

서울시 '구'를 시각화 할 수 있는 정보가 담긴 json 파일을 통해 접근해보자.

 

import json

geo_data = json.load(open("./skorea_municipalities_geo_simple.json", "r", encoding="utf-8"))

 

지리 데이터와 편의점 데이터를 넣어 folium 을 통해 서울시 편의점 점유율을 시각화해보자.

 

folium.Choropleth(geo_data = geo_data,
                  data = 서울편의점,
                  columns = [서울편의점.index, 'shopName'],
                  fill_color='YlOrRd', fill_opacity=0.7, line_opacity=0.3,
                  key_on = 'feature.properties.name').add_to(seoul_map)

 

folium 의 Choropleth() 메서드를 통해, seoul_map 에 전국 편의점 점유율을 시각화 할 수 있다.

 

 

 

 

서울시 편의점 데이터를 지도에 시각화하기 : 서울시 GS 편의점 좌표

 

이번에는 마커 형태로 서울시의 GS 편의점 위치를 시각화해보자.

 

# 다시 초기화
seoul_map = folium.Map(location=[37.55, 126.98], zoom_start=12)

# 서울 데이터를 통해 서울 GS25 편의점 지도에 마커 표시하기
for idx, row in 서울[['brand', 'lat', 'longs']].iterrows():
	try:
    	if row.brand == 'GS25':
        	folium.Marker([row.longs, row.lat], popup=row.brand).add_to(seoul_map)
    except:
    	pass

 

folium 의 Marker() 메서드를 통해 해당 편의점의 위도, 경로 데이터를 넣어 seoul_map 에 마커를 띄울 수 있다.

 

 

 

 

 

mataplotlib.pylot (plt) 그래프 한글 깨짐 현상 영구 해결하기 

 

이제, 그래프 형태로도 확인하기 위해 mataplotlib.pylot (as plt) 를 사용할 것이다.

 

본격적으로 시작하기 전, plt 그래프는 아직 한글을 제대로 지원하지 않아서, 한글 깨짐 현상 문제가 있다.

 

이를 코드를 계속 실행시켜서 한글 깨짐 현상을 일시적으로 해결할 수 있지만, 계속 코드를 작성하는데에 번거로움이 있기에 영구 해결 방법을 통해 설정해두자.

 

[ 주피터 노트북 plt 한글 깨짐 영구 해결하기 ]

주피터 노트북(Jupyter notebook) - Matplotlib 한글 깨짐 현상 해결

 

나는 위 해당 링크를 통해, 한글 폰트 깨짐 문제를 영구적으로 해결했다.

 

 

 

 

전국 편의점 점유율 그래프 시각화하기 : 막대 그래프

 

이제, 그래프 형태로 전국 편의점 점유율을 나타내보자.

 

import matplotlib.pyplot as plt
import numpy as np

# 편의점 data 불러오기(편의점 수)
data = 편의점.groupby(['brand'])['shopName'].count()

# plt 값 설정
plt.style.use("ggplot") # 다른 방식으로도 가능: seaborn 등
plt.tilte("전국 편의점 점유율")
x = np.arrange(data.value.size)
name = data.index
values = data.values

# plt 설정
plt.bar(x, values)
plt.xticks(x, name)
plt.legend(loc='best', labels='점유율')

# plt 출력
plt.show()

 

막대 그래프 형태의 편의점 점유율을 볼 수 있다.

 

 

 

 

전국 편의점 점유율 그래프 시각화하기 : 파이 그래프

 

이번에는 원형 형태인 파이 그래프로 전국 편의점 점유율을 나타내보자.

 

import matplotlib.pyplot as plt
import numpy as np

# 편의점 data 불러오기(편의점 수)
data = 편의점.groupby(['brand'])['shopName'].count()

# plt 값 설정
plt.style.use("ggplot")
plt.figure(figsize=(15,15))
plt.title('전국 편의점 점유율')
x = np.arange(data.values.size)
name = data.index
values = data.values

# plt 설정
plt.pie(values, labels=data.index) # 원형의 파이 형태
plt.legend(loc='best', labels=data.index)

# plt 출력
plt.show()

 

원형의 파이 형태 그래프로 편의점 점유율을 볼 수 있다.