[편의점 크롤링] EMERT24

🚩 PLAN

 

 

1. EMERT24 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다.

 

2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다.

 

 

 

 

[ 대상 사이트 ]

 

https://www.emart24.co.kr/store

 

 

 

 

---

 

 

먼저, 대상 사이트의 구조를 살펴보았다.

 

 

이마트24는 메인 페이지에서 매장찾기를 통해 접근할 수 있다.

 

다행히, 이마트24 같은 경우 지역 선택 옵션에서 '전체' 옵션을 통해 전체 매장 정보를 한 번에 가져올 수 있다.

 

개발자 모드를 통해 전체 옵션을 선택하고 검색하면, 오른쪽 이미지와 같은 api 와 해당 payload 를 살펴볼 수 있다.

 

이번에는 page key 만 바꾸어주며 반복해서 페이지를 조회하면 데이터를 가져올 수 있음을 생각할 수 있다.

(한 페이지마다 10개씩 매장 조회가 되므로, 마지막 페이지를 조회하면 데이터가 없거나 10개 이하일 것이다.)

 

그리고 Preview를 통해 어떤 식으로 정보를 받을 수 있는지 미리 확인할 수 있다.

 

 

깔끔하게 필요한 정보들이 딕셔너리 형태로 잘 정리되어 있음을 볼 수 있다.

데이터를 요청해서 받게 되면, 위와 같이 dictionary 형태, 즉 json 을 사용해서 정보를 받을 수 있겠다고 생각했다.

 

 

나는 이런 flow 로 접근하여 아래와 같은 코드로 작업했다.

 

 

⌨️ Code

 

import requests
import json
import pickle
import pandas as pd
from bs4 import BeautifulSoup as BS

payload = {
    "page": "1",
    "search": "",
    "AREA1": "",
    "AREA2": "",
    "SVR_24": "",
    "SVR_AUTO": "",
    "SVR_PARCEL": "",
    "SVR_ATM": "",
    "SVR_WINE": "",
    "SVR_COFFEE": "",
    "SVR_SMOOTH": "",
    "SVR_APPLE": "",
    "SVR_TOTO": "",
}

store_df = pd.DataFrame()

page_num = 1

while True:
    
    url = "https://www.emart24.co.kr/api1/store?page={}&search=&AREA1=&AREA2=&SVR_24=&SVR_AUTO=&SVR_PARCEL=&SVR_ATM=&SVR_WINE=&SVR_COFFEE=&SVR_SMOOTH=&SVR_APPLE=&SVR_TOTO=".format(page_num)
    
    payload['page'] = page_num
    
    r= requests.get(url, data=payload, verify=False)
    
    if(not r.json()['data']) :
        break

    for y in r.json()['data']:
        temp_df = pd.DataFrame(y, index=[0])
        store_df = pd.concat([store_df, temp_df], ignore_index=True)
    
    page_num += 1

# 데이터 프레임 컬럼명 바꿔주기
store_df.columns = ['택배', '애플액세서리', '포스트', '경도', '연락처', '예약픽업', '폐업날짜', '즉석라면', '치킨', '토토', '커피', 'CODE', '와인', '상세위치', '24시간', '주소', '영업종료시간', '지점명', '위도', '오픈날짜', '영업시작시간', '무인매장', '스무디', 'ATM', 'KIND']

# pkl 로 저장
store_df.to_pickle("./emart24_store_all.pkl")

 

 

📋 DataFrame

 

위 코드를 통해, 최종 DataFrame 은 아래와 같은 형태로 저장할 수 있다.