🐰 써밍의 블로그

✍🏻 배운점 정규식을 통해 크롤링시, 특정한 값에 접근하여 찾는 방법이 그냥 찾는 것 보다 더 간편하다는 것을 알게 되었다. 조금씩 크롤링에 대해 이해하고 있는 과정이 되어가고 있다. 📁 목차 1. 정규식 기초 2. 정규식 연습 3. daum 기사 기자 이메일 정규식으로 추출하기 4. CU 편의점 매장 정보 가져오기 : 매장명, 주소, 연락처, 서비스 5. CU 편의점 매장 정보 가져오기 : 시,도 / 시,군,구 / 읍,면,동 들어가며 이번에는 정규식을 통해 크롤링에 원하는 값들을 쉽게 찾아내고, CU 편의점 매장 찾기 웹 페이지 기반으로 글을 작성했습니다. 정규식 기초 . → 한개의 문자 ^ → 문자열 시작과 매칭 or [ ] 안에서 반대를 의미 $ → 문자열 마지막을 매칭 [ ] → 집합(안에 있는 ..

✍🏻 배운점 CSRFToken 에 대해 잘 몰랐었는데, 왜 사용하는지, 어떻게 처리해 주어야 하는지 배울 수 있었다.그리고 GS25 편의점 매장조회 크롤링을 진행했는데, 데이터에 접근하는 방식들이 꽤 어려워서 더 공부해야 할 것 같다... 📁 목차 1. CSRFToken 2. 전국 GS25 편의점 매장 지역 조회하기 3. 전국 GS25 편의점 매장 서비스 확인하기 들어가며 GS25 편의점 매장 검색 웹 페이지 크롤링 기반으로 글을 작성했습니다. 참고부탁드립니다 :) CSRFToken 이번에는 GS25 편의점에 대한 데이터를 가져올 것이다. GS25 같은 경우, URL 을 확인해보면 CSRFToken 이라는 것을 볼 수 있다. 'CSRF' 라는 건 사이버 공격 중 하나인데, 이를 방지하기 위해서 CSRF ..

✍🏻 배운점 selenium 뿐 만 아니라 api 도 사용하여 데이터를 가져오는 방법에 대해 배울 수 있었고, DataFrame 을 다루는 방법에 대해 더 알게 되었다. 📁 목차 1. webdriver Option 2. 전국 세븐일레븐 지점 정보 가져오기 by selenium 3. 전국 세븐일레븐 지점 정보 가져오기 by API 4. pandas concat 5. DataFrame 에서 index 제거하기 6. DataFrame 에서 중복 제거하기 7. DataFrame 에서 고유한 값 찾기 8. DataFrame 을 excel 로 저장하기 들어가며 이번에는 세븐일레븐 편의점 점포 기준으로 글을 작성했습니다. 참고부탁드립니다 :) webdriver Options webdriver 를 사용하여 Chrome..

✍🏻 배운점 requests 의 get, post 방식의 다름을 이해하고, DataFrame 을 다루는 방법(그룹화, 병합, 복사)에 대해 익힐 수 있었다. 📁 목차 1. requests GET, requests POST 2. groupby 와 agg 3. DataFrame merge 4. 종가 데이터로 수익률 구하기 5. DataFrame copy 들어가며 그 전 포스팅 자료에서 이어, 서로 코드가 관련이 있기에 참고 부탁드립니다! requests GET, requests POST - GET 방식 requests.get(url) get 방식은 서버에서 데이터를 '검색'하는 데 사용한다. - POST 방식 requests.post(url, data=payload) post 방식은 서버로 데이터를 '보내는..

✍🏻 배운점 ssh 키를 통한 원격 접속에 대한 이해를 할 수 있었고, mariaDB 에 sql, 파이썬에서의 sql 사용법을 익히고 그를 응용하여 한국 주식 정보와 네이버 주식 데이터를 합치는 것까지 배울 수 있었다. 📁 목차 1. ssh 로 PC 에 우분투 연결하기 2. MariaDB 세팅 3. pymysql 4. 한국 주식 정보 데이터 가져와서 DB에 저장하기 5. 결측치 제거 6. 네이버 주식 데이터 가져와서 삼성전자 주식 정보 DB에 저장하기 7. 한국 주식 정보와 네이버 주식 정보가 담긴 테이블 합치기 들어가며 m2 환경 세팅 기준으로 글을 작성하였으니 유의 부탁드립니다. ssh 로 PC 에 우분투 연결하기 맥은 ssh 가 기본으로 설치되어 있다. 따라서, ssh 의 기초 세팅만 해주면 된다...

✍🏻 배운점 pickle 형식 파일에 대해 이해할 수 있었고, join 메서드를 통해 문자열을 합칠 수 있다는 것을 알게 되었다. 파이썬에서 sorted 사용법은 c++ 에 비해 복잡해서 생각보다 익숙해지는 시간이 필요할 것 같다. json 말고도 xml 파일에서도 데이터를 조회하는 데 유용한 모듈에 대해서도 배울 수 있었다. 📁 목차 1. pickle 2. 정규식 (regex) 3. KBO 선수들의 키, 몸무게 구하기 4. KBO 선수들의 나이 계산하기 5. KBO 선수들의 BMI 구하기 6. join 7. sorted 와 lambda 8. 선수명과 등번호 합치고 BMI 를 기준으로 선수 정렬하기 9. pandas 10. KBO 선수들의 팀별 총 연봉 평균 계산하기 11. numpy 12. KBO 선수..

✍🏻 배운점 가상 환경 세팅 방법과 어떻게 파이썬으로 폴더와 파일을 생성하는 지 알 수 있었다. 특히, 크롤링에 대한 이해가 부족했는데, 이번에 직접 경험해보며 상황에 따라 어떤 라이브러리를 사용해야 하는 지 배울 수 있었다. 📁 목차 1. 가상 환경 생성시, 패키지 설정하기 2. 사용하는 패키지 저장하기 3. 리다이렉트(리디렉션) 4. 새로운 폴더 생성 및 파일 저장하기 5. webdriver & selenium 6. BeautifulSoup(bs4) 7. 네이버 VIBE 차트 오늘 Top 100 노래 번호 가져와 저장하기 8. 네이버 VIBE 차트 오늘 Top 100 노래 제목, 가수, 가사 크롤링하여 폴더에 저장하기 9. requests, selenium, BeautifulSoup(bs4) 는 언제..

✍🏻 배운점 파이썬으로 간단한 예제들을 통해 조건문을 공부할 수 있었다. 또한, 파이썬을 사용하여 파일을 읽고 쓰며 폴더 작업에 대해서도 공부하여 데이터가 많은 작업에서도 쉽게 작업할 수 있었다. 실제 데이터들을 통해 앞서 배운 것들을 적용해보고 더 알아갈 수 있었다. (특히, 맥 환경에서 주의할 점도 파악할 수 있어 다음에는 같은 실수를 하지 않을 수 있을 것 같다 :D) 📁 목차 1. 조건문 연습 1 : 사용자 입력에 따른 다른 결과 출력 2. 조건문 연습 2 : 윤년 확인 3. list comprehension (리스트 축약형) 4. multiLine 5. 노래 가사에서 가장 많이 등장한 단어 조회하기 6. 현재 작업 경로 확인하기 7. 절대 경로와 상대 경로 8. 자주 사용하는 폴더 작업 명령어 ..

✍🏻 배운점 Python Programming 기초를 배웠다. 자료형, 출력문, 반복문, 조건문, 중요 자료구조(list, dictionary) 를 통해 데이터에 접근할 수 있는 방법들을 익힌 후, anaconda 와 jupyter notebook 을 사용하여 간단한 크롤링을 통해 실제 데이터에서 원하는 결과를 확인해 볼 수 있었다. 📁 목차 1. Python 크롤링 2. float 형 덧셈 3. sequence 형 4. 출력문 5. list와 반복문 6. Dictionary 7. 스타벅스 데이터 다루기 1 : 서울시 스타벅스 정보 크롤링 8. 스타벅스 데이터 다루기 2 : 서울시 스타벅스 리저브 가게 개수 구하기 9. 스타벅스 데이터 다루기 3 : 서울시 스타벅스 자치구별 매장 개수 구하기 10. 스타..