python 기초 7

✍🏻 배운점

 

selenium 뿐 만 아니라 api 도 사용하여 데이터를 가져오는 방법에 대해 배울 수 있었고, DataFrame 을 다루는 방법에 대해 더 알게 되었다.

 

 

📁 목차

1. webdriver Option
2. 전국 세븐일레븐 지점 정보 가져오기 by selenium
3. 전국 세븐일레븐 지점 정보 가져오기 by API
4. pandas concat
5. DataFrame 에서 index 제거하기
6. DataFrame 에서 중복 제거하기
7. DataFrame 에서 고유한 값 찾기
8. DataFrame 을 excel 로 저장하기

 

 

---

 

 

 

들어가며

 

이번에는 세븐일레븐 편의점 점포 기준으로 글을 작성했습니다. 참고부탁드립니다 :)

 

 

 

 

 

webdriver Options

 

 

webdriver 를 사용하여 Chrome 창을 띄울 때, 우리 눈에 보이지 않고 백그라운드 환경에서 돌게 할 수 있다.

 

 

import selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument('headless')

 

ChromeOption 메서드를 사용하면 크롬 페이지가 보이지 않아도 잘 실행될 수 있다.

 

 

 

전국 세븐일레븐 지점 정보 가져오기 by selenium

 

전국에 있는 세븐일레븐 편의점 지점 정보를 가져오도록 하자.

 

 

메인 페이지에서 점포찾기 버튼을 클릭하면 get 방식을 통해 웹 페이지에 접근해야 한다는 것을 알 수 있다.

 

 

 

메인 페이지에서 데이터가 있는 곳까지 가기위해 '점포찾기' 라는 버튼을 클릭해야 하므로 selenium 을 사용하여 자동화 클릭을 하도록 한다.

 

 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time 
from bs4 import BeautifulSoup as BS
import requests
import re
import pandas as pd


driver = webdriver.Chrome()

url = "https://www.7-eleven.co.kr/"
driver.get(url) # get 방식

# 점포 찾기 버튼 위치
target_store = "#header > div > div > div.head_util > a.util_store.store_open"
# 점포 찾기 버튼 자동 클릭
driver.find_element(By.CSS_SELECTOR, target_store).click()
time.sleep(3) # 페이지 로딩 시간 기다려주기

 

위에서 말한 작업을 다했고 이제 지역별 도시 이름들을 다 받아와야 한다.

 

 

 

그러기 위해 또 selenium 을 사용하여 정보를 얻어와야 한다.

 

 

city_dict = {} # dictionary 로 저장

for x in range(2, 19): # 시, 도 개수만큼
    driver.find_element(By.CSS_SELECTOR, f"#storeLaySido > option:nth-child({x})").click()
    time.sleep(2)
    
    # 시, 도 이름 가져오기
    city = driver.find_element(By.CSS_SELECTOR, f"#storeLaySido > option:nth-child({x})").text
    
    # key: 시/도 , valaue: 구/군
    city_dict[city] = [x.text for x in BS(drvier.page_source).find("select", id="storeLayGu")][3::2]
    

# 잘 저장되어 있는 지 확인하기
for key, value in city_dict.items():
	print(key, value)

 

 

css 문법으로 접근하면 편리하기에... 잘 알도록 하자...

 

 

 

 

전국 세븐일레븐 지점 정보 가져오기 by API

 

이번에는 세븐일레븐에서 제공하는 API 를 이용해보자.

 

 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time 
from bs4 import BeautifulSoup as BS
import requests
import re
import pandas as pd


seven_url = "https://www.7-eleven.co.kr/util/storeLayerPop.asp"
payload = payload = {"storeLaySido": "서울",
            "storeLayGu": "구로구",
            "hiddentext": "none"}
r = requests.post(seven_url, data=payload)

 

 

def api_seven(page):
    seven = BS(page)
    seven_total = []
    
    for temp in seven.find("div", class_="list_stroe").findAll("li"):
    	seven_dict = {}
        
        # 지점별 서비스 항목 찾아서 저장
        seven_dict['offeringService'] = [ x['alt'] for x in temp.findAll("img")]
        
        # 지점명 있는 곳 찾아 저장(공백 제거용 strip 사용)
        seven_dict['shopName'] = temp.find("span").text.strip()
        
        try:
        	# 지점 주소 찾아 저장
        	seven_dict['address'] = " ".join(temp.findAll("span")[-2].text.split())
        except:
        	return []
        
        # 중복 없이 잘 있는 경우
        if len(seven_dict['address']) < 2:
        	seven_dict['address'] = " ".join(temp.findAll("span")[-3].text.split())
        
        # 위도 경도 찾아 저장
        _, lat, lon = re.findall("(?<=\().+(?=\))", temp.find('a')['href'])[0].split(",")
        seven_dict['longs'] = lon
        seven_dict['lat'] = lat
        
        # seven_total 에 넣기
        seven_total.append(seven_dict)
        
    return pd.DataFrame(seven_total)

 

seven_total 에 지점별 서비스, 주소, 위도, 경도를 저장하여 df 로 만드는 함수이다.

 

 

total = []

for key, value in city_dict.items(): # 시/도(key), 구/군(value)
	payload['storeLaySido'] = key
    
    for x in value:
    	payload['storeLayGu'] = x
        
        # total 에 위에서 만든 정보 다 저장하기
        total.append(api_seven( requests.post(seven_url, data=payload).text ))

 

이제 api 로 전국 세븐 편의점 정보에 대해 total dictionary 에 저장했다.

 

 

 

 

pandas concat

 

pandas 에서 제공하는 메서드인 concat() 을 사용하면 df 끼리 합쳐서 (원본 데이터 변경없이) 새로운 df 를 만들 수 있다.

 

 

total = pd.concat([x for x in total if type(x) == type(pd.DataFrame())])
total

 

만약 total 에서 df 로 잘 만들어졌다면, df 로 잘 나오는 것을 확인할 수 있다.

 

 

 

 

DataFrame 에서 index 제거하기

 

파이썬에서 DataFrame 의 기본 index 를 제거할 수 있다.

 

total.reset_index(drop=True, inplace=True)

 

pandas 의 메서드인 reset_index 를 사용하면, index column 을 제거할 것인지, 원본 df 를 바꿀 것인지 선택할 수 있다.

 

 

 

 

 

DataFrame 에서 중복 제거하기

 

파이썬에서 DataFrame 의 특정 column 에서 값이 중복된 경우 제거할 수 있다.

 

total.drop_duplicates('shopName')

 

pandas 의 메서드인  drop_duplicates() 를 사용하면, 특정 column 값이 중복된 것들을 df 에서 제거해준다.

 

 

 

 

 

DataFrame 에서 고유한 값 찾기

 

파이썬에서 DataFrame 의 특정 column 에서 고유한 값만 찾을 수 있다.

 

total['shopName'].unique() # .size() 만 붙이면 고유값 개수 구할 수 있음

 

중복된 값 없이, 고유한 값이 무엇인지 찾는데 사용된다.

 

 

 

 

DataFrame 을 excel 로 저장하기

 

파이썬에서 DataFrame 을 excel 파일로 저장할 수 있다.

 

total.to_excel("./세븐일레븐_전국_현황.xlsx")

 

pandas 의 메서드인 to_excel() 을 사용하면 엑셀 파일로 만들 수 있다.