🐰 써밍의 블로그

🚩 PLAN 1. EMERT24 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] https://www.emart24.co.kr/store 먼저, 대상 사이트의 구조를 살펴보았다. 이마트24는 메인 페이지에서 매장찾기를 통해 접근할 수 있다. 다행히, 이마트24 같은 경우 지역 선택 옵션에서 '전체' 옵션을 통해 전체 매장 정보를 한 번에 가져올 수 있다. 개발자 모드를 통해 전체 옵션을 선택하고 검색하면, 오른쪽 이미지와 같은 api 와 해당 payload 를 살펴볼 수 있다. 이번에는 page key 만 바꾸어주며 반복해서 페이지를 조회하면 데이터를 가져올 수 있음을 생각할 ..

🚩 PLAN 1. MINISTOP 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] https://www.ministop.co.kr/ 먼저, 대상 사이트의 구조를 살펴보았다. MINISTOP 의 메인 웹 페이지에서 매장 찾기 버튼을 누르면, 우리가 데이터를 얻을 수 있는 매장 찾기 페이지로 이동한다. 임의로 아무 지역으로 옵션을 설정해주고, 찾기 버튼을 누르면 오른쪽 이미지와 같은 api 를 볼 수 있다. payload 를 살펴보며 변경해주어야 할 key 를 확인해본다. 여기서, payload 의 특징에 paramInfo key 에 대해 더 알아보기 위해 다른 시/도와 시/군/구..

🚩 PLAN 1. 7-Eleven 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] http://www.7-eleven.co.kr/ 먼저, 대상 사이트의 구조를 살펴보았다. 세븐일레븐 같은 경우, 메인 웹 페이지에서 점포 찾기 버튼을 누르면, 매장 정보를 팝업 형태로 제공해주고 있다. CU처럼 지역별로 검색해서 데이터를 가져와야 하는 형식이다. (시/도 > 구/군) 개발자 모드를 킨 후, 임의로 서울 > 중구 로 선택한 후, 검색 버튼을 통해 우리가 원하는 데이터를 확인할 수 있다. payload 를 살펴보며 변경해주어야 할 key 를 확인해보고, Preview를 통해 어떤 식으..

🚩 PLAN 1. CU 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] https://cu.bgfretail.com/store/list.do?category=store 먼저, 대상 사이트의 구조를 살펴보았다. 매장 검색 페이지에서, 지역으로 검색을 통해 매장 정보 데이터를 확인할 수 있다. CU 같은 경우, 시/도, 구/군, 읍/면/동 세 가지 옵션을 모두 선택하고 검색 버튼을 눌러야 데이터를 우리에게 보여준다. 그래서 개발자 모드를 킨 후, 임의로 경기도 > 가평군 > 가평읍 을 선택하여 검색 버튼을 누르면 오른쪽과 같은 api 를 통해 데이터를 가져올 수 있음을 확인할 수 ..

🚩 PLAN 1. GS25 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] http://gs25.gsretail.com/gscvs/ko/store-services/locations 먼저, 대상 사이트의 구조를 살펴보았다. 매장 검색 페이지에서 개발자 모드를 킨 후, 검색 버튼 옆에 있는 전체보기를 누르면 오른쪽 이미지와 같은 api 를 볼 수 있고, CSRF Token 을 확인할 수 있다. (CSRF Token 에 대한 얘기는 예전 포스팅에서 다루었으니 생략한다.) 그리고, 한 검색 페이지 당 5개의 매장 정보를 가져오며, 매장 전체의 데이터를 확인하려면 모든 페이지를 순환해야..