python 기초 8

 

✍🏻 배운점

 

CSRFToken 에 대해 잘 몰랐었는데, 왜 사용하는지, 어떻게 처리해 주어야 하는지 배울 수 있었다.그리고 GS25 편의점 매장조회 크롤링을 진행했는데, 데이터에 접근하는 방식들이 꽤 어려워서 더 공부해야 할 것 같다...

 

 

📁 목차

1. CSRFToken
2. 전국 GS25 편의점 매장 지역 조회하기
3. 전국 GS25 편의점 매장 서비스 확인하기

 

 

---

 

 

 

들어가며

 

GS25 편의점 매장 검색 웹 페이지 크롤링 기반으로 글을 작성했습니다. 참고부탁드립니다 :)

 

 

 

 

 

CSRFToken

 

이번에는 GS25 편의점에 대한 데이터를 가져올 것이다.

 

 

 

 

GS25 같은 경우, URL 을 확인해보면 CSRFToken 이라는 것을 볼 수 있다.

 

'CSRF' 라는 건 사이버 공격 중 하나인데, 이를 방지하기 위해서 CSRF 토큰이라는 것을 사용자에게 받아 잘못된 요청인지 아닌지 확인하기 위해 존재하는 것이다.

 

그래서, 크롤링 할 때 URL 에서 CSRFToken 이라는 게 보이면 이 값을 따로 유동적으로 받게 만들어주어야 한다.

 

 

import requests
from bs4 import BeatifulSoup as BS

url = "http://gs25.gsretail.com/gscvs/ko/store-services/locations#;"

r = requests.get(url)

bs = BS(r.text)

# 접속할 때마다 키 발급을 해준다.
csrf = bs.find("form", id="CSRFForm").find("input")['value']

 

csrf 토큰 같은 경우, '세션'이 유지된 상태에만 유효하기 때문에 계속 세션을 유지할 수 있도록 해야한다.

 

 

payload = {"pageNum"  : "1",
"pageSize"  : "100",
"searchShopName"  : "",
"searchSido"  : "11",
"searchGugun"  : "",
"searchDong"  : "",
"searchType"  : "",
"searchTypeService"  : "0",
"searchTypeToto"  : "0",
"searchTypeCafe25"  : "0",
"searchTypeInstant"  : "0",
"searchTypeDrug"  : "0",
"searchTypeSelf25"  : "0",
"searchTypePost"  : "0",
"searchTypeATM"  : "0",
"searchTypeWithdrawal"  : "0",
"searchTypeTaxrefund"  : "0",
"searchTypeSmartAtm"  : "0",
"searchTypeSelfCookingUtensils"  : "0",
"searchTypeDeliveryService"  : "0",
}

post_url = "http://gs25.gsretail.com/gscvs/ko/store-services/locationList?CSRFToken={}"

with requests.Session() as s: # 세션 연결 상태로 만들기
    r = s.get(url)
    bs = BS(r.text)
    csrf = bs.find("form", id="CSRFForm").find("input")['value']
    payload['pageSize'] = 5000
    r2 = s.post(post_url.format(csrf), data=payload)

 

 

 

전국 GS25 편의점 매장 지역 조회하기

 

위에 것을 종합하여 적용하고 지역들을 조회하면 아래와 같다.

 

import json
import pandas as pd

# 지역구분 '시/도'의 key, value 값 저장
master = {x.text : x['value'] for x in bs.find("select", id="stb1").findAll("option")[1:]}

post_url = "http://gs25.gsretail.com/gscvs/ko/store-services/locationList?CSRFToken={}"
total = []

with requests.Session() as s:
    r = s.get(url)
    bs = BS(r.text)
    csrf = bs.find("form", id="CSRFForm").find("input")['value']
    
    for code in master.values():
        payload['pageSize'] = 5000
        payload['searchSido'] = code
        r2 = s.post(post_url.format(csrf), data=payload)
        total.append(pd.DataFrame(json.loads(r2.json())['results']))

 

 

세션을 계속 유지하도록 만들고, 검색 결과들을 저장한다.

 

gs = pd.DataFrame(json.loads(r2.json())['results'])

# gs 에 total df 붙이기
gs = pd.concat(total)

# 주소 데이터에서 시/도 이름만 잘라 저장하기
gs['시'] = gs['address'].apply(lambda x : x.split()[0])

gs['시'].value_counts() # 시/도 별로 GS25 편의점 개수

 

이렇게, 시/도 별로 GS25 편의점 개수도 구할 수 있다.

 

 

 

 

전국 GS25 편의점 매장 서비스 확인하기

 

원하는 데이터를 얻기 위해 column 들에 접근하며, 새로운 정보를 확인할 수 있다.

 

gs['offeringService'].apply(lambda x : 'drug' in x) # 결측치가 있어서 error 발생

gs.loc[gs['offeringService'].notnull(), '의료'] = gs[gs['offeringService'].notnull()]['offeringService'].apply(lambda x : 'Y' if 'drug' in x else 'N')

gs['의료'].value_counts(normalize=True) # 전국 gs 약 파는 매장 비율

# 11 개 서비스 다하는 편의점 확인
gs.loc[gs['offeringService'].notnull(), '의료'] = gs[gs['offeringService'].notnull()]['offeringService'].apply(lambda x : len(x) == 11)

# 11 개 서비스가 뭔지 보기
gs.loc[gs['offeringService'].notnull(), '의료'] = gs[gs['offeringService'].notnull()]['offeringService'].apply(lambda x : len(x) == 11)['offeringServie'].values()