[편의점 크롤링] MINISTOP

🚩 PLAN

 

 

1. MINISTOP 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다.

 

2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다.

 

 

 

 

[ 대상 사이트 ]

 

https://www.ministop.co.kr/

 

 

 

 

---

 

 

먼저, 대상 사이트의 구조를 살펴보았다.

 

 

MINISTOP 의 메인 웹 페이지에서 매장 찾기 버튼을 누르면, 우리가 데이터를 얻을 수 있는 매장 찾기 페이지로 이동한다.

 

임의로 아무 지역으로 옵션을 설정해주고, 찾기 버튼을 누르면 오른쪽 이미지와 같은 api 를 볼 수 있다.

payload 를 살펴보며 변경해주어야 할 key 를 확인해본다.

 

여기서, payload 의 특징에 paramInfo key 에 대해 더 알아보기 위해 다른 시/도와 시/군/구를 설정해주고 검색해보았다.

 

 

비교해보면 paramInfo key 가 시/도와 시/군/구 값을 의미함을 확인할 수 있었다.

 

그리고, Preview를 통해 어떤 식으로 정보를 받을 수 있는지 미리 확인할 수 있다.

 

 

깔끔하게 필요한 데이터들을 딕셔너리 형태로 잘 매핑되어 있는 것을 볼 수 있다.

데이터를 요청해서 받게 되면, 위와 같이 dictionary 형태, 즉 json 을 사용해서 정보를 받을 수 있겠다고 생각했다.

 

 

나는 이런 flow 로 접근하여 아래와 같은 코드로 작업했다.

 

 

⌨️ Code

 

import requests
import json
import pickle
import pandas as pd
from tqdm import tqdm
from bs4 import BeautifulSoup as BS


mini_url = "https://www.ministop.co.kr/MiniStopHomePage/page/querySimple.do"

# cf. 'tm' 의 value 값이 없어도 된다. 즉, 설정 안해줘도 됨
mini_pay = {
    "pageId": "store/store",
    "sqlnum": "2",
    "paramInfo": "1:",
    "pageNum": "1",
    "sortGu": "",
    "tm": "1677986477478",
}

mini_name = []
mini_address = []
mini_phone = []
mini_ice = []
mini_lat = []
mini_lon = []

store_df = pd.DataFrame()

# 1부터 16까지 있음
for idx, x in enumerate(range(1, 17)): 
    mini_pay['sqlnum'] = 2
    mini_pay["paramInfo"] = "{}:".format(x)
    r = requests.post(mini_url, data=mini_pay) # json 형태로 저장된 거 볼 수 있음
    
    num_gu = [] # number 와 gu 이름 저장
    
    for y in r.json()['recordList']:
        num_gu.append(y['fields'])  
    
    # 데이터 뽑아오기
    mini_pay['sqlnum'] = 3
    
    for idx, z in enumerate(num_gu):

        mini_pay["paramInfo"] = "{}:{}:{}:".format(x, z[0], z[0])
        
        r = requests.post(mini_url, data=mini_pay)
        
        for idx, t in enumerate(r.json()['recordList']):
            
            mini_name.append(t['fields'][0])
            mini_address.append(t['fields'][1])
            mini_phone.append(t['fields'][2])
            mini_ice.append(t['fields'][3])
            mini_lat.append(t['fields'][4])
            mini_lon.append(t['fields'][5])


store_df['매장명'] = mini_name
store_df['주소'] = mini_address
store_df['연락처'] = mini_phone
store_df['소프트크림'] = mini_ice
store_df['위도'] = mini_lat
store_df['경도']= mini_lon

store_df.to_pickle('./ministop_store_soft_latlon.pkl')

 

 

📋 DataFrame

 

위 코드를 통해, 최종 DataFrame 은 아래와 같은 형태로 저장할 수 있다.