python 기초 9

✍🏻 배운점

 

정규식을 통해 크롤링시, 특정한 값에 접근하여 찾는 방법이 그냥 찾는 것 보다 더 간편하다는 것을 알게 되었다. 

조금씩 크롤링에 대해 이해하고 있는 과정이 되어가고 있다.

 

 

📁 목차

1. 정규식 기초
2. 정규식 연습
3. daum 기사 기자 이메일 정규식으로 추출하기
4. CU 편의점 매장 정보 가져오기 : 매장명, 주소, 연락처, 서비스
5. CU 편의점 매장 정보 가져오기 : 시,도 / 시,군,구 / 읍,면,동

 

 

---

 

 

 

들어가며

 

이번에는 정규식을 통해 크롤링에 원하는 값들을 쉽게 찾아내고, CU 편의점 매장 찾기 웹 페이지 기반으로 글을 작성했습니다.

 

 

 

 

 

정규식 기초

 

 

.  → 한개의 문자

^  → 문자열 시작과 매칭 or [ ] 안에서 반대를 의미

$  → 문자열 마지막을 매칭

 

[ ]   → 집합(안에 있는 것 중 하나를 의미)

|   → 또는(OR)

( )  → 정규식 그룹 묶기

 

\w  → 숫자 또는 문자(한글 제외)

 

\d  → 숫자

\D  → 숫자가 아닌 모든 문자

 

\s  → 띄어쓰기

\S  → 띄어쓰기 아닌 모든 문자

 

 

+   → 1번 이상 패턴

*  → 0번 이상 패턴

?   → 0 또는 1번 패턴 발생

 

 

{ i }   → i 번 반복 

{ i, j }   → i 번 부터 j 번까지 반복 허용

 

 

 

 

정규식 연습

 

 

정규식을 연습하기 위한 문제들을 풀어보았다.

 

 

text_famous = """201901 Dost thou love life? Then do not squander time, for that is the stuff life is made of. (Benjamin Franklin) 그대는 인생을 사랑하는가? 그렇다면 시간을 낭비하지 말라, 시간이야말로 인생을 형성하는 재료이기 때문이다. (벤자민 프랭클린)  
201902 Life is like riding a bicycle. To keep your balance you must keep moving. (Albert Einstein) 인생은 자전거를 타는 것과 같다. 균형을 잡으려면 움직여야 한다. (알버트 아인슈타인) 
201903 Life is a tragedy when seen in close-up, but a comedy in long-shot. (Charlie Chaplin)  인생은 가까이서 보면 비극이지만 멀리서 보면 희극이다 (찰리 채플린) 
201904 Dream as if you'll live forever. Live as if you'll die today. (James Dean) 영원히 살 것처럼 꿈꾸고 오늘 죽을 것처럼 살아라. (제임스 딘) 
201905 Life is an endless series of trainwrecks with only brief commercial like breaks of happiness. (Deadpool) 인생이란 괴로움의 연속이고, 행복은 광고처럼 짧다. (데드풀)"""

 

text_famous 를 이용하여 정규식 사용을 해보자.

 

import re

p2 = re.compile("[a-zA-Z].+[a-zA-z][.]") # 정규식 저장
p2.findall(text_famous) # p2 정규식에 해당 되는 모든 것 찾기

 

p2 는 어떤 영어 문자와 모든 문자열이 1번 이상이고 또 어떤 영어 문자와 마지막이 순수한 . 으로 끝나는 것을 찾는 정규식이다.

text_famous 에서 해당 정규식에 해당되는 모든 문자열을 찾는다. ( = 모든 영어 문장이 . 으로 끝나는 문장들이 list 로 저장)

 

 

import re

p3 = re.compile("[가-힣].+[가-힣][.]") # 정규식 저장
p3.findall(text_famous) # p3 정규식에 해당 되는 모든 것 찾기

 

p3 는 어떤 한글과 모든 문자열이 1번 이상이고 또 어떤 한글과 마지막이 순수한 . 으로 끝나는 것을 찾는 정규식이다.

text_famous 에서 해당 정규식에 해당되는 모든 문자열을 찾는다. ( = 모든 한글 문장이 . 으로 끝나는 문장들이 list 로 저장)

 

 

 

 

 

 

daum 기사 기자 이메일 정규식으로 추출하기

 

 

daum 기사에 적혀있는 기자 이메일들을 파이썬 정규식을 통해 가져와보자.

 

import requests
import re

url = "https://v.daum.net/v/20230227100502684"
r = requests.get(url)

p = re.compile("[\w._%+-]+@[\w.-]+\.[a-zA-z]{2, 4}")

list(set(p.findall(r.text)))

 

이메일 정규식 같은 경우, 우리가 흔히 알고 있는 이메일 형식을 생각해야 한다.

예를 들면, abc@naver.com 말고도 abc@hanyang.ac.kr 처럼 뒤에 도메인 형태가 다를 수 있어 이 점까지 고려해서 작성하도록 하자.

 

 

 

 

 

CU 편의점 매장 정보 가져오기 : 매장명, 주소, 연락처, 서비스

 

 

CU 편의점 웹 사이트에서 매장안내 > 매장찾기에서 임의 지역을 선택하여 검색 버튼을 누른다.

 

 

 

개발자 모드를 통해, 네트워크 탭에서 새롭게 list_Ajax.do 라는 파일을 볼 수 있고 requests URL과 method 를 볼 수 있다. 

 

 

네트워크 탭의 payload 를 확인하면, 이런 정보들을 API 로 제공하고 있음을 알 수 있다.

 

 

import requests

cu_url = "https://cu.bgfretail.com/store/list_Ajax.do"

payload = {"pageIndex" : "1",
"listType" : "",
"jumpoCode" : "",
"jumpoLotto" : "",
"jumpoToto" : "",
"jumpoCash" : "",
"jumpoHour" : "",
"jumpoCafe" : "",
"jumpoDelivery" : "",
"jumpoBakery" : "",
"jumpoFry" : "",
"jumpoMultiDevice" : "",
"jumpoPosCash" : "",
"jumpoBattery" : "",
"jumpoAdderss" : "",
"jumpoSido" : "경기도",
"jumpoGugun" : "가평군",
"jumpodong" : "가평읍",
"user_id" : "",
"jumpoName" : "",}

r = requests.post(cu_url, data=payload)

r.text # 확인용

 

여기까지 진행한 다음, 분석하기 위해 bs4 를 통해 원하는 데이터를 가져올 수 있도록 찾아봐야 한다.

 

 

from bs4 import BeautifulSoup as BS

bs = BS(r.text)

bs # 확인용


tmp = bs.find("div", class_="detail_store").findAll("tr")[1]

 

필요한 데이터가 tmp 안에 있으나, 제공하는 서비스가 무엇인지 정리하고 확인할 필요가 있다.

 

 

여기서 보면 class name 에 on 이 있는 것과 없는 것이 있다.

on 이 있다면 해당 지점에서 하고 있는 서비스라는 의미이다.

 

근데, 내가 현재 보고 있는 웹 페이지에 편의점 정보는 1페이지 한정이라서, 다음 페이지를 넘겨주고 다시 정보를 받아와야 하는데 일단 1페이지에 해당하는 정보만 끌고 올 것이다. (나중에 제대로 취합 해보도록 하겠다.)

 

import re


# 전체 코드에서 service 가 아니라 sevice 로 해야한다.

p = re.compile(("sevice[0-9]{2} on")) # sevice class 찾기

tmp.finaAll("li", p) # 확인용

p2 = re.compile("_([0-9a-zA-Z]+)\.png") # 서비스 명 찾기

p2.findall(str(tmp.findAll("li", p))) # png 명 찾음

p2.findall(str(tmp.findAll("li", p)))[0].split(".")[0] # img 파일 . 기준 왼쪽

 

이제 서비스 항목들을 어떻게 추출할지 알았으니, 이제 추출하여 저장하면 된다.

 

 

service = [p2.findall(str(x))[0] for x in tmp.findAll("li", p)]

for y in bs.find("div", class_="detail_store").findAll("tr")[1:]:
    print([p2.findall(str(x))[0] for x in y.findAll("li", p)])

 

서비스도 이제 이런 식으로, 정상적인 값이 들어갈 수 있는지 확인부터 하자.

 

 

service_t = []
for y in bs.find("div", class_="detail_store").findAll("tr")[1:]:
    service_t.append([p2.findall(str(x))[0] for x in y.findAll("li", p)])

 

이제, 제공하는 서비스 항목도 저장하였다.

 

 

 

그 다음으로는, 이제 매장명 및 연락처, 주소를 가져오도록 하자.

 

 

 

 

매장 정보 같은 경우, html 을 확인해보면, 테이블 형태로 저장되어 있는 것을 볼 수 있다.

 

이 때 사용할 수 있는 메서드가 pandas 의 read_html() 이다.

 

 

import pandas as pd

store = pd.read_html(r.text)[0]

 

 

html 의 테이블 구조를 분석하여 데이터 요소들을 DataFrame 으로 만들어준다.

 

 

 

이제, store DataFrame 에 아까 위에서 만든 서비스 항목도 넣어주도록 하자.

 

 

store['서비스'] = service_t

 

store df 에 '서비스' column 명이 생기고,  해당 column 에 service_t 가 순차적으로 저장된다.

 

 

 

CU 같은 경우, 매장명과 연락처 그리고 주소와 서비스가 구분 되어 있지 않기 때문에, 구분하는 작업도 해주어야 한다.

 

먼저, 매장명과 연락처를 분리해보자.

 

# 매장 연락처 정규식
phone = re.compile("[0-9]{2,3}-[0-9]{3,4}-[0-9]{3,4}")

store['매장명 / 연락처'].apply(lambda x : phone.findall(x)) # 연락처가 없는 경우는 공백이다.

# 연락처 column 추가하기
# 연락처가 없는 경우 처리를 해주자
# None 값을 넣어주자
store['연락처'] = store['매장명 / 연락처'].apply(lambda x : phone.findall(x)[0] if len(phone.findall(x)) > 0 else None)

 

 

매장 정규식을 통해 연락처를 가져와 확인하고, 연락처가 없는 경우 None 값을 저장해주었다.

 

 

이번에는, 매장명을 분리해보자.

 

# 매장명 정규식
store_p = re.compile("[가-힣]+점")

# 같은 방식으로, 매장명 column 추가하기
store['매장명'] = store['매장명 / 연락처'].apply(lambda x : store_p.findall(x)[0])

 

같은 방식으로 매장명도 저장해주었다.

 

 

 

이제, 매장명과 연락처는 따로 분리되어 저장되었으니, 기존의 column 을 제거해주자.

 

# axis = 1 일 때는, column 에 적용 (0 일때는 index, 즉 '행'으로 적용된다.)
store.drop("매장명 / 연락처", axis = 1, inplace = True)

 

여기서 주의할 점은, inplace 를 True 로 적용시키면 바로 store 에 적용된다.

따라서, 사용하기 전에 확인 절차를 꼭 거치는 습관을 들여야 한다.

 

 

이제, 주소 및 서비스 column 명을 주소로 바꾸어주자.

 

# 주소 / 매장 유형 및 서비스 -> 주소 로 column 명 바꾸기
store.rename(columns={"주소 / 매장 유형 및 서비스" : "주소"}, inplace=True)

 

column 의 이름을 바꾸고 싶을 때, rename() 메서드를 통해 바꿀 수 있다.

 

 

 

마지막으로, column 들의 순서를 지정해서 바꾸고 싶다면,

 

store = store[['매장명', '주소', '서비스']]

 

이렇게 간단하게 지정해주면 된다.

 

 

 

여기까지, store df 에 '매장명, 주소, 서비스' 순으로 정보가 저장되었다.

 

 

 

 

 

CU 편의점 매장 정보 가져오기 : 시,도 / 시,군,구 / 읍,면,동

 

이제, 시,도 목록을 가져오자.

 

 

시, 도 같은 경우는 웹 페이지 html 에서 확인할 수 있기 때문에, 간단하게 접근할 수 있다.

 

cu_url = "https://cu.bgfretail.com/store/list.do?category=store"

city = [x.text for x in BeautifulSoup(requests.get(cu_url).text)\
    .find("div", class_="search_wrap").findAll("option")][1:-2]

 

BS 를 사용하여 html 을 분석하여 이렇게 시,도 를 얻어올 수 있다.

 

 

 

다음으로는, 시, 군, 구 목록을 가져오도록 하자.

 

 

 

웹 페이지에서 시, 도 선택을 임의로 하면, 새로운 GugunList.do 가 network 탭에 생긴다.

Request URL, Request Method 가 나와있음을 확인할 수 있다.

또한, payload 를 확인하면 우리가 필요한 시, 도 정보가 있음을 볼 수 있다.

 

 

city = "https://cu.bgfretail.com/store/GugunList.do"

city_pay = {"pageIndex" : "1",
"listType" : "",
"jumpoCode" : "",
"jumpoLotto" : "",
"jumpoToto" : "",
"jumpoCash" : "",
"jumpoHour" : "",
"jumpoCafe" : "",
"jumpoDelivery" : "",
"jumpoBakery" : "",
"jumpoFry" : "",
"jumpoMultiDevice" : "",
"jumpoPosCash" : "",
"jumpoBattery" : "",
"jumpoAdderss" : "",
"jumpodong" : "",
"user_id" : "",
"sido" : "서울특별시",
"Gugun" : "",
"jumpoName" : "",}


request.post(city, data=city_pay).text # 여기서, json 형태인 것을 볼 수 있다.
# 크게 GugunList 가 key, 리스트 구조가 value
# 작게는 CODE_NAME 이 key, 구 이름이 value

requests.post(city, data=city_pay).json()['GugunList'] # json 으로 불러서, value를 본다.
# 리스트 구조가 나오게 된다.

# CODE_NAME key로 value 를 얻어 서울특별시의 구 정보를 얻을 수 있다.
[x['CODE_NAME'] for x in requests.post(dong, data=dong_pay).json()['GugunList']]

 

지금까지 정보로 서울특별시의 구 정보를 얻는 데까지 진행할 수 있다.

 

 

 

이제, 각 읍, 면, 동의 동 정보를 얻어보자.

 

 

 

시,군,구 방법과 마찬가지로 읍,면,동도 같은 방법으로 진행한다.

 

dong = "https://cu.bgfretail.com/store/DongList.do"

dong_pay = {"pageIndex": "1",
"listType": "",
"jumpoCode": "",
"jumpoLotto": "",
"jumpoToto": "",
"jumpoCash": "",
"jumpoHour": "",
"jumpoCafe": "",
"jumpoDelivery": "",
"jumpoBakery": "",
"jumpoFry": "",
"jumpoMultiDevice": "",
"jumpoPosCash": "",
"jumpoBattery": "",
"jumpoAdderss": "",
"jumpoSido": "경기도",
"jumpoGugun": "가평군",
"jumpodong": "",
"user_id": "",
"sido": "경기도",
"Gugun": "가평군",
"jumpoName": "",}


# 경기도 가평군의 동 정보 가져오기
[x['CODE_NAME'] for x in requests.post(dong, data=dong_pay).json()['GugunList']]