[편의점 크롤링] 7-ELEVEN

🚩 PLAN

 

 

1. 7-Eleven 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다.

 

2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다.

 

 

 

 

[ 대상 사이트 ]

 

http://www.7-eleven.co.kr/

 

 

 

 

---

 

 

먼저, 대상 사이트의 구조를 살펴보았다.

 

 

 

세븐일레븐 같은 경우, 메인 웹 페이지에서 점포 찾기 버튼을 누르면, 매장 정보를 팝업 형태로 제공해주고 있다.

 

CU처럼 지역별로 검색해서 데이터를 가져와야 하는 형식이다. (시/도 > 구/군)

 

개발자 모드를 킨 후, 임의로 서울 > 중구 로 선택한 후, 검색 버튼을 통해 우리가 원하는 데이터를 확인할 수 있다.

 

payload 를 살펴보며 변경해주어야 할 key 를 확인해보고, Preview를 통해 어떤 식으로 정보를 받을 수 있는지 미리 확인할 수 있다.

 

데이터를 요청해서 받게 되면, 위와 같이 html 형태로 정보를 주고 있다.

그리고 시/도, 시/군/구 정보는 api 를 통해, 오른쪽 이미지와 같이 확인하여 얻을 수 있다. 

 

 

나는 이런 flow 로 접근하여 아래와 같은 코드로 작업했다.

 

 

⌨️ Code

 

import requests
import pandas as pd
import json
import pickle
from tqdm import tqdm
from bs4 import BeautifulSoup as BS


# 시/도 데이터  -> 시/군/구 데이터 -> api 데이터

url = "https://www.7-eleven.co.kr/util/storeLayerPop.asp"

se = requests.get(url)

bs = BS(se.text)

sido = bs.select("#storeLaySido > option")

sido_total = []

for x in sido[1:]:
    sido_total.append(x.string)


# 시/군/구 데이터

gugun_url = "https://www.7-eleven.co.kr/library/asp/StoreGetGugun.asp"
gugun_pay = {
    "Sido": "",
    "selName": "storeLayGu",
}

payload = {
    "storeSido": "",
    "storeLayGu": "",
    "hiddentext" : "none",
}

store_name = []
store_address = []
store_service = []

store_df = pd.DataFrame()

for idx, y in enumerate(tqdm(sido_total)):
    gugun_pay['Sido'] = y
    
    se = requests.post(gugun_url, data=gugun_pay)
    bs = BS(se.text)
    
    gugun = bs.select("option")
    
    gugun_total = []
    
    for z in gugun[1:]:
        gugun_total.append(z.string)
    
    # 퍈의점 데이터 가져오기
    
    # 세종인 경우는 예외처리 (시/군/구 없음)
    if y == '세종':
        payload['storeLaySido'] = y
        payload['storeLayGu'] = ""
        
        se = requests.post(url, data=payload)
                    
        bs = BS(se.text)
        
        for v in bs.find("div", class_="list_stroe").findAll("li"):
            
            if v.findAll("span")[0].text.strip() == "검색 결과가 없습니다.":
                break
                
            # 매장명
            store_name.append(v.findAll("span")[0].text.strip())
                              
            # 매장 주소     
            store_address.append(v.findAll("span")[1].string.strip())
                   
            # 매장 서비스    
            service = []
                
            for ss in v.find("span").findAll("img"):
                service.append(ss['alt'])
                
            store_service.append(service)
            
    else:
        
        for idx, k in enumerate(tqdm(gugun_total)):
            payload['storeLaySido'] = y
            payload['storeLayGu'] = k

            se = requests.post(url, data=payload)
                    
            bs = BS(se.text)

            for t in bs.find("div", class_="list_stroe").findAll("li"):
                
                if t.findAll("span")[0].text.strip() == "검색 결과가 없습니다.":
                    break
                
                # 매장명
                store_name.append(t.findAll("span")[0].text.strip())
                
                # 매장 주소
                store_address.append(t.findAll("span")[1].string.strip())
                
                # 매장 서비스  
                service = []
                
                for s in t.find("span").findAll("img"):
                    service.append(s['alt'])
                
                store_service.append(service)


store_df['매장명'] = store_name
store_df['주소'] = store_address
store_df['서비스'] = store_service

store_df.to_pickle("./7-ELEVEN_store_service.pkl")

 

 

📋 DataFrame

 

위 코드를 통해, 최종 DataFrame 은 아래와 같은 형태로 저장할 수 있다.