🐰 써밍의 블로그

🚩 PLAN 1. EMERT24 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] https://www.emart24.co.kr/store 먼저, 대상 사이트의 구조를 살펴보았다. 이마트24는 메인 페이지에서 매장찾기를 통해 접근할 수 있다. 다행히, 이마트24 같은 경우 지역 선택 옵션에서 '전체' 옵션을 통해 전체 매장 정보를 한 번에 가져올 수 있다. 개발자 모드를 통해 전체 옵션을 선택하고 검색하면, 오른쪽 이미지와 같은 api 와 해당 payload 를 살펴볼 수 있다. 이번에는 page key 만 바꾸어주며 반복해서 페이지를 조회하면 데이터를 가져올 수 있음을 생각할 ..

🚩 PLAN 1. MINISTOP 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] https://www.ministop.co.kr/ 먼저, 대상 사이트의 구조를 살펴보았다. MINISTOP 의 메인 웹 페이지에서 매장 찾기 버튼을 누르면, 우리가 데이터를 얻을 수 있는 매장 찾기 페이지로 이동한다. 임의로 아무 지역으로 옵션을 설정해주고, 찾기 버튼을 누르면 오른쪽 이미지와 같은 api 를 볼 수 있다. payload 를 살펴보며 변경해주어야 할 key 를 확인해본다. 여기서, payload 의 특징에 paramInfo key 에 대해 더 알아보기 위해 다른 시/도와 시/군/구..

🚩 PLAN 1. 7-Eleven 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] http://www.7-eleven.co.kr/ 먼저, 대상 사이트의 구조를 살펴보았다. 세븐일레븐 같은 경우, 메인 웹 페이지에서 점포 찾기 버튼을 누르면, 매장 정보를 팝업 형태로 제공해주고 있다. CU처럼 지역별로 검색해서 데이터를 가져와야 하는 형식이다. (시/도 > 구/군) 개발자 모드를 킨 후, 임의로 서울 > 중구 로 선택한 후, 검색 버튼을 통해 우리가 원하는 데이터를 확인할 수 있다. payload 를 살펴보며 변경해주어야 할 key 를 확인해보고, Preview를 통해 어떤 식으..

🚩 PLAN 1. CU 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] https://cu.bgfretail.com/store/list.do?category=store 먼저, 대상 사이트의 구조를 살펴보았다. 매장 검색 페이지에서, 지역으로 검색을 통해 매장 정보 데이터를 확인할 수 있다. CU 같은 경우, 시/도, 구/군, 읍/면/동 세 가지 옵션을 모두 선택하고 검색 버튼을 눌러야 데이터를 우리에게 보여준다. 그래서 개발자 모드를 킨 후, 임의로 경기도 > 가평군 > 가평읍 을 선택하여 검색 버튼을 누르면 오른쪽과 같은 api 를 통해 데이터를 가져올 수 있음을 확인할 수 ..

🚩 PLAN 1. GS25 편의점 매장 정보 웹 페이지에서 파이썬을 통해 데이터를 가져온다. 2. 가져온 데이터를 DataFrame 으로 만들고, 로컬에 pickle 파일로 저장한다. [ 대상 사이트 ] http://gs25.gsretail.com/gscvs/ko/store-services/locations 먼저, 대상 사이트의 구조를 살펴보았다. 매장 검색 페이지에서 개발자 모드를 킨 후, 검색 버튼 옆에 있는 전체보기를 누르면 오른쪽 이미지와 같은 api 를 볼 수 있고, CSRF Token 을 확인할 수 있다. (CSRF Token 에 대한 얘기는 예전 포스팅에서 다루었으니 생략한다.) 그리고, 한 검색 페이지 당 5개의 매장 정보를 가져오며, 매장 전체의 데이터를 확인하려면 모든 페이지를 순환해야..

✍🏻 배운점 파이썬의 GIL 과 멀티프로세싱에 대해 이해할 수 있었고, 데이터를 만들기 위한 여러 메서드들 그리고 전처리 방법들을 배울 수 있었다. 📁 목차 1. map 2. reduce 3. filter 4. multiprocessing 5. 깔끔한 데이터의 조건 6. locals 7. concat 8. 결측치 개수 9. DataFrame index 초기화 10. 지하철 이용 정보 데이터 합치기 들어가며 지하철 이용 정보 데이터는 2016 년 기준 데이터로, 1월부터 12월까지 1년간의 데이터로 정리되어 있는 자료를 사용했습니다. 다음 포스팅에 이어서 활용할 계획입니다. map list 에 map 을 사용하면, for 문을 사용해야 하는 과정을 간단하게 처리할 수 있다. a = [ 1.5, 2.3, 6..

✍🏻 배운점 데이터를 분석하기 위해, 다양한 pandas 메서드들을 배울 수 있었고, 다른 데이터를 접목하여 더 정확한 분석과 결과를 도출할 수 있음을 배울 수 있었다. 📁 목차 1. to_datetime 2. dbconnect.py 3. warnings 4. 스타벅스 매장 정보 DB table 에 저장하기 5. 스타벅스 매장 오픈 날짜 정보 DB 에서 가져오기 6. 연도별 스타벅스 매장 추이 그래프 7. date_range, strftime 8. 특정 기간의 날짜별 환율 데이터 가져오기 9. 환율 데이터 table 생성 및 조회하기 10. KBO 선수들의 연봉 데이터 및 환율 데이터 가져오기 11. KBO 선수들의 달러 연봉을 원화 연봉으로 바꾸기 12. KBO 선수들의 팀별 원화 연봉 정보 분석하기 ..

✍🏻 배운점 파이썬 객체 지향 개발을 위한 기본 중 기본인 class 를 배울 수 있었고, 자료 구조인 Linked List 개념을 이해할 수 있었다.주어진 데이터를 통해 pandas, numpy 기반 공부와 크롤링을 통한 함수 작성 공부도 할 수 있었다. 📁 목차 1. Class 와 객체 2. 연결 리스트 ( Linked List ) 3. pandas 와 numpy 로 데이터 다루기 4. KBO 팀의 각 용병 수 구하기 5. 환율 구하기 : 하나 은행 크롤링 들어가며 파이썬의 OOP(oriented object programming) 와 자료구조, numpy 및 pandas 등 아직 매끄럽게 진행하기에는 부족한 점이 많습니다...! Class 와 객체 파이썬은 객체 지향 프로그래밍 언어로, 이 OOP ..

✍🏻 배운점 데이터를 시각화하는 방법을 익힐 수 있었다. 지도 위 시각화, 그래프 시각화를 다룰 수 있었고 이제 다른 데이터들도 응용하여 시각화해 볼 수 있을 것 같다. 📁 목차 1. assert 2. 정규 표현식 치환 3. 5개 편의점 제공 서비스 조회하기 4. 간편하게 DB 에 연결하여 데이터 저장하기 5. 서울 지도 불러오기 6. 서울시 편의점 데이터를 지도에 시각화하기 : 서울시 편의점 점유율 7. 서울시 편의점 데이터를 지도에 시각화하기 : 서울시 GS 편의점 좌표 8. mataplotlib.pylot (plt) 그래프 한글 깨짐 현상 영구 해결하기 9. 전국 편의점 점유율 그래프 시각화하기 : 막대 그래프 10. 전국 편의점 점유율 그래프 시각화하기 : 파이 그래프 들어가며 지난 편의점 데이터..

✍🏻 배운점 통계 데이터를 가져와 다른 파생 변수를 만들어 유의미한 데이터를 만들 수 있다는 것을 알게 되었다. 📁 목차 1. 5개 브랜드 편의점 데이터 확인하기 2. 통계청 인구수(연령별 인구현황) 데이터 가져오기 3. 인구수 대비 편의점 점유율 구하기 4. 서울시 구별 가장 많이 존재하는 편의점 브랜드 찾기 들어가며 5개 편의점 데이터를 가지고 진행하였습니다. 전달 받은 데이터가 완벽하지 않아서, 추후에 각 편의점 데이터를 가져오는 방법에 대해 다시 포스팅 할 예정입니다. 5개 브랜드 편의점 데이터 확인하기 전국 5개 편의점 정보 데이터가 담긴 pkl 파일을 열어, 데이터를 탐색해보자. import pandas as pd import numpy as np df = dp.read_pickle("./5s..