🐰 써밍의 블로그

✍🏻 배운점 파이썬의 GIL 과 멀티프로세싱에 대해 이해할 수 있었고, 데이터를 만들기 위한 여러 메서드들 그리고 전처리 방법들을 배울 수 있었다. 📁 목차 1. map 2. reduce 3. filter 4. multiprocessing 5. 깔끔한 데이터의 조건 6. locals 7. concat 8. 결측치 개수 9. DataFrame index 초기화 10. 지하철 이용 정보 데이터 합치기 들어가며 지하철 이용 정보 데이터는 2016 년 기준 데이터로, 1월부터 12월까지 1년간의 데이터로 정리되어 있는 자료를 사용했습니다. 다음 포스팅에 이어서 활용할 계획입니다. map list 에 map 을 사용하면, for 문을 사용해야 하는 과정을 간단하게 처리할 수 있다. a = [ 1.5, 2.3, 6..

✍🏻 배운점 데이터를 분석하기 위해, 다양한 pandas 메서드들을 배울 수 있었고, 다른 데이터를 접목하여 더 정확한 분석과 결과를 도출할 수 있음을 배울 수 있었다. 📁 목차 1. to_datetime 2. dbconnect.py 3. warnings 4. 스타벅스 매장 정보 DB table 에 저장하기 5. 스타벅스 매장 오픈 날짜 정보 DB 에서 가져오기 6. 연도별 스타벅스 매장 추이 그래프 7. date_range, strftime 8. 특정 기간의 날짜별 환율 데이터 가져오기 9. 환율 데이터 table 생성 및 조회하기 10. KBO 선수들의 연봉 데이터 및 환율 데이터 가져오기 11. KBO 선수들의 달러 연봉을 원화 연봉으로 바꾸기 12. KBO 선수들의 팀별 원화 연봉 정보 분석하기 ..

✍🏻 배운점 파이썬 객체 지향 개발을 위한 기본 중 기본인 class 를 배울 수 있었고, 자료 구조인 Linked List 개념을 이해할 수 있었다.주어진 데이터를 통해 pandas, numpy 기반 공부와 크롤링을 통한 함수 작성 공부도 할 수 있었다. 📁 목차 1. Class 와 객체 2. 연결 리스트 ( Linked List ) 3. pandas 와 numpy 로 데이터 다루기 4. KBO 팀의 각 용병 수 구하기 5. 환율 구하기 : 하나 은행 크롤링 들어가며 파이썬의 OOP(oriented object programming) 와 자료구조, numpy 및 pandas 등 아직 매끄럽게 진행하기에는 부족한 점이 많습니다...! Class 와 객체 파이썬은 객체 지향 프로그래밍 언어로, 이 OOP ..

✍🏻 배운점 데이터를 시각화하는 방법을 익힐 수 있었다. 지도 위 시각화, 그래프 시각화를 다룰 수 있었고 이제 다른 데이터들도 응용하여 시각화해 볼 수 있을 것 같다. 📁 목차 1. assert 2. 정규 표현식 치환 3. 5개 편의점 제공 서비스 조회하기 4. 간편하게 DB 에 연결하여 데이터 저장하기 5. 서울 지도 불러오기 6. 서울시 편의점 데이터를 지도에 시각화하기 : 서울시 편의점 점유율 7. 서울시 편의점 데이터를 지도에 시각화하기 : 서울시 GS 편의점 좌표 8. mataplotlib.pylot (plt) 그래프 한글 깨짐 현상 영구 해결하기 9. 전국 편의점 점유율 그래프 시각화하기 : 막대 그래프 10. 전국 편의점 점유율 그래프 시각화하기 : 파이 그래프 들어가며 지난 편의점 데이터..

✍🏻 배운점 통계 데이터를 가져와 다른 파생 변수를 만들어 유의미한 데이터를 만들 수 있다는 것을 알게 되었다. 📁 목차 1. 5개 브랜드 편의점 데이터 확인하기 2. 통계청 인구수(연령별 인구현황) 데이터 가져오기 3. 인구수 대비 편의점 점유율 구하기 4. 서울시 구별 가장 많이 존재하는 편의점 브랜드 찾기 들어가며 5개 편의점 데이터를 가지고 진행하였습니다. 전달 받은 데이터가 완벽하지 않아서, 추후에 각 편의점 데이터를 가져오는 방법에 대해 다시 포스팅 할 예정입니다. 5개 브랜드 편의점 데이터 확인하기 전국 5개 편의점 정보 데이터가 담긴 pkl 파일을 열어, 데이터를 탐색해보자. import pandas as pd import numpy as np df = dp.read_pickle("./5s..

✍🏻 배운점 정규식을 통해 크롤링시, 특정한 값에 접근하여 찾는 방법이 그냥 찾는 것 보다 더 간편하다는 것을 알게 되었다. 조금씩 크롤링에 대해 이해하고 있는 과정이 되어가고 있다. 📁 목차 1. 정규식 기초 2. 정규식 연습 3. daum 기사 기자 이메일 정규식으로 추출하기 4. CU 편의점 매장 정보 가져오기 : 매장명, 주소, 연락처, 서비스 5. CU 편의점 매장 정보 가져오기 : 시,도 / 시,군,구 / 읍,면,동 들어가며 이번에는 정규식을 통해 크롤링에 원하는 값들을 쉽게 찾아내고, CU 편의점 매장 찾기 웹 페이지 기반으로 글을 작성했습니다. 정규식 기초 . → 한개의 문자 ^ → 문자열 시작과 매칭 or [ ] 안에서 반대를 의미 $ → 문자열 마지막을 매칭 [ ] → 집합(안에 있는 ..

✍🏻 배운점 CSRFToken 에 대해 잘 몰랐었는데, 왜 사용하는지, 어떻게 처리해 주어야 하는지 배울 수 있었다.그리고 GS25 편의점 매장조회 크롤링을 진행했는데, 데이터에 접근하는 방식들이 꽤 어려워서 더 공부해야 할 것 같다... 📁 목차 1. CSRFToken 2. 전국 GS25 편의점 매장 지역 조회하기 3. 전국 GS25 편의점 매장 서비스 확인하기 들어가며 GS25 편의점 매장 검색 웹 페이지 크롤링 기반으로 글을 작성했습니다. 참고부탁드립니다 :) CSRFToken 이번에는 GS25 편의점에 대한 데이터를 가져올 것이다. GS25 같은 경우, URL 을 확인해보면 CSRFToken 이라는 것을 볼 수 있다. 'CSRF' 라는 건 사이버 공격 중 하나인데, 이를 방지하기 위해서 CSRF ..

✍🏻 배운점 selenium 뿐 만 아니라 api 도 사용하여 데이터를 가져오는 방법에 대해 배울 수 있었고, DataFrame 을 다루는 방법에 대해 더 알게 되었다. 📁 목차 1. webdriver Option 2. 전국 세븐일레븐 지점 정보 가져오기 by selenium 3. 전국 세븐일레븐 지점 정보 가져오기 by API 4. pandas concat 5. DataFrame 에서 index 제거하기 6. DataFrame 에서 중복 제거하기 7. DataFrame 에서 고유한 값 찾기 8. DataFrame 을 excel 로 저장하기 들어가며 이번에는 세븐일레븐 편의점 점포 기준으로 글을 작성했습니다. 참고부탁드립니다 :) webdriver Options webdriver 를 사용하여 Chrome..

✍🏻 배운점 requests 의 get, post 방식의 다름을 이해하고, DataFrame 을 다루는 방법(그룹화, 병합, 복사)에 대해 익힐 수 있었다. 📁 목차 1. requests GET, requests POST 2. groupby 와 agg 3. DataFrame merge 4. 종가 데이터로 수익률 구하기 5. DataFrame copy 들어가며 그 전 포스팅 자료에서 이어, 서로 코드가 관련이 있기에 참고 부탁드립니다! requests GET, requests POST - GET 방식 requests.get(url) get 방식은 서버에서 데이터를 '검색'하는 데 사용한다. - POST 방식 requests.post(url, data=payload) post 방식은 서버로 데이터를 '보내는..

✍🏻 배운점 ssh 키를 통한 원격 접속에 대한 이해를 할 수 있었고, mariaDB 에 sql, 파이썬에서의 sql 사용법을 익히고 그를 응용하여 한국 주식 정보와 네이버 주식 데이터를 합치는 것까지 배울 수 있었다. 📁 목차 1. ssh 로 PC 에 우분투 연결하기 2. MariaDB 세팅 3. pymysql 4. 한국 주식 정보 데이터 가져와서 DB에 저장하기 5. 결측치 제거 6. 네이버 주식 데이터 가져와서 삼성전자 주식 정보 DB에 저장하기 7. 한국 주식 정보와 네이버 주식 정보가 담긴 테이블 합치기 들어가며 m2 환경 세팅 기준으로 글을 작성하였으니 유의 부탁드립니다. ssh 로 PC 에 우분투 연결하기 맥은 ssh 가 기본으로 설치되어 있다. 따라서, ssh 의 기초 세팅만 해주면 된다...