python 기초 3

✍🏻 배운점

 

가상 환경 세팅 방법과 어떻게 파이썬으로 폴더와 파일을 생성하는 지 알 수 있었다.

 

특히, 크롤링에 대한 이해가 부족했는데, 이번에 직접 경험해보며 상황에 따라 어떤 라이브러리를 사용해야 하는 지 배울 수 있었다.

 

 

📁 목차

1. 가상 환경 생성시, 패키지 설정하기
2. 사용하는 패키지 저장하기
3. 리다이렉트(리디렉션)
4. 새로운 폴더 생성 및 파일 저장하기
5. webdriver & selenium
6. BeautifulSoup(bs4)
7. 네이버 VIBE 차트 오늘 Top 100 노래 번호 가져와 저장하기
8. 네이버 VIBE 차트 오늘 Top 100 노래 제목, 가수, 가사  크롤링하여 폴더에 저장하기
9. requests,  selenium, BeautifulSoup(bs4) 는 언제 사용하는가?

 

 

 

---

 

 

 

들어가며

 

코드 예제들은, 네이버 Vibe 크롤링을 예시로 작성했습니다.

참고부탁드립니다.

 

 

 

 

가상 환경 생성시, 패키지 설정하기

 

패키지들의 버전 관리가 중요하기 때문에 requirements.txt 라는 파일에 패키지 버전을 표기하는 것이 정석이다.

 

예를 들면, github 의 소스 코드를 설치하는 경우,

requirements.txt 가 있는 경로에서

 

pip install -r requirements.txt

 

를 실행하여 다운한 소스 코드의 패키지 설치 버전을 맞출 수 있다.

 

 

pip list

를 통해 설치 버전을 확인할 수 있다.

 

 

 

 

사용하는 패키지 저장하기

 

 

pip list --format=frezee > requirements.txt

 

를 통해 내가 사용하는 패키지를 저장할 수 있다.

 

 

 

 

리다이렉트(리디렉션)

 

위에서 사용한 > 기호는 리다이렉트(혹은 리디렉션) 연산자로 표준 입출력 변경 기능을 한다.

 

이를 사용하면 명령 셸에서 입출력을 쉽고 간편하게 작업할 수 있다.

 

직접 파일에 들어가서 실행할 필요 없이 짧은 코드로 파일 작업이 가능하다는 점이 유용하다.

 

예를 들면,

 

echo "hello" > a.txt

 

 

이렇게 > 기호를 사용하여 한 번에 작업 가능한 것 처럼, 리다이렉트 연산자 사용법을 익히면 편리한 기능이다.

 

 

 

 

 

새로운 폴더 생성 및 파일 저장하기

 

 

import os

if not os.path.isdir("저장 경로/원하는 폴더명"):
	os.mkdir("저장 경로/원하는 폴더명")

 

파이썬 코드를 통해 만약 내가 원하는 경로에 만들고 싶은 이름의 폴더가 없다면 해당 경로에 폴더를 생성할 수 있다.

 

 

with open("저장 경로/파일 저장할 폴더명/" + "파일 이름 저장 방식 및 형식", "w", encoding='utf-8-sig') as f:
	f.write(파일에 작성할 내용)

 

 

그리고 저장 경로 및 저장할 폴더명과 저장할 파일의 이름 형식을 지정해주고, 파일에 작성할 내용을 전달해주면 해당 경로가 위치한 폴더에 파일들을 저장할 수 있다.

 

 

 

 

webdriver & selenium

 

우리가 크롤링을 진행할 때, 주로 requests 를 import 하여 사용한다.

 

그러나, 특정 웹 페이지들은 이를 통한 접근이 어렵거나 허용하지 않는 경우가 있다.

 

그 때 사용하는 것이 바로 selenium 이다.

 

selenium 은 웹 사이트의 테스트 도구로, 브라우저 동작을 자동화할 수 있다.

 

마치, 웹 페이지 사용자가 직접 누른 것 처럼 직접 웹 페이지를 동작하며 작업할 수 있다.

(우리가 흔히 보는 네이버 카페 글 도배 같은 것도 selenium 을 통해 할 수 있다. 하지마세요...!)

 

from selenium import webdriver

 

selenium 은 webdriver 를 import 하여 사용하는데, webdriver 는 브라우저 제어에 필요하다.

 

내가 어떤 브라우저로 동작할지 이를 사용하여 정할 수 있다.

 

어떤 사이트에서는 requests 의 접근을 막기 때문에, 우리가 실제 웹페이지에서 클릭하고 동작하는 것으로 속일 수 있도록 해야 한다.

 

예를 들면, 크롬 브라우저로 동작하게 하고 싶다면

 

driver = webdriver.Chrome()

 

으로 설정해주면 된다.

 

 

driver.get("크롤링 할 링크")

 

그 후, get 메서드를 통해 driver 에 자신이 크롤링 하고 싶은 링크를 전달한다.

 

 

driver.page_source

 

를 입력하여 driver 가 위치한 웹 페이지의 소스 코드를 확인할 수 있다.

 

 

 

BeautifulSoup(bs4)

 

파이썬 크롤링에 사용되는 라이브러리 중 BeautifulSoup 이라는 라이브러리가 있다.

 

from bs4 import BeautifulSoup as BS

 

주로, 위와 같이 BeautifulSoup 라이브러리를 호출한다.

 

 

BeautifulSoup 의 기능은, HTML 및 XML 파일 같은 문서에서 정보를 추출하는 역할이다.

 

driver를 통해 내가 크롤링하고 싶은 웹 페이지의 html 을 받았다면, BeautifulSoup 를 통해 html 에서 원하는 특정 정보들을 빠르게 추출할 수 있다.

 

 

bs = BS(driver.page_source)

 

bs 를 출력하면 현재 driver가 위치한 웹 페이지의 소스 코드가 보인다.

(참고로, 개발자 모드로 들어가 상단의 Elements 를 클릭하면 html 코드를 확인할 수 있다.)

 

 

먼저, 내가 크롤링하고 싶은 웹 페이지의 소스 코드를 BeautifulSoup 에게 넘긴다.

 

 

네이버 Vibe 에서 크롤링 했을 당시 1위를 한 노래의 가사만 끌어와 먼저 잘 추출되는지 확인한다.

 

bs.find("div", {"class" : "end_section section_lyrics"})

 

 

그리고, 내가 알고 싶은 정보가 있는 요소를 보고, 그 정보를 가져오기 위해 find 메서드를 사용하여 찾는다.

 

네이버 바이브 같은 경우, 가사가 "end_section section_lyrics" class 의 div 태그에 있어 이렇게 접근해 볼 수 있다.

 

그러나, 가사가 긴 경우 '더보기'를 클릭해 주지 않으면 가사가 완벽하게 나오지 않는다.

 

이때, 이를 위해 자동화가 가능한 selenium 을 사용해야 한다.

 

 

from selenium.webdriver.common.by import By
driver.find_element(By.CSS_SELECTOR, "#content > div.end_section.section_lyrics > a").click()

 

selenium 의 By 클래스를 통해 웹 페이지에서 요소를 찾는다.

 

사바사겠지만, css 로 찾는 것이 편하다고 한다.

 

By.CSS_SELECTOR 를 사용하여, 찾고 싶은 내용이 있는 요소들을 찾도록 driver 에게 전달하고 click 하도록 한다.

 

그렇게 되면 자동으로 가사 더보기를 클릭하여 html 을 완전히 불러올 수 있다.

 

 

 

그 후, 다시 bs 에게 현재 위치한 페이지의 소스 코드를 전달한다.

 

 

lyrics = bs.find("div", {"class" : "lyrics"}) # 가사 찾기
lyrics.find("p") # p tag 찾기
lyrics.find("p").text # text 로 처리하기

 

 

순수한 가사만을 가져오기 위해, 'p' 태그가 없도록 text 로 string 으로 바꾼다.  

 

 

 

 

 

네이버 VIBE 차트 오늘 Top 100 노래 번호 가져와 저장하기

 

 

import requests
import time
from bs4 import BeautifulSoup as BS
from selenium import webdrvier
from selenium.webdriver.common.by as By


chart = "https://vibe.naver.com/chart/total" # 네이버 vibe 차트 top 100 웹 주소
driver = webdrvier.Chrome() # Chrome 페이지로 접근
driver.get(chart) # driver 에 해당 차트 페이지 넘기기

chart_bs = BS(dirver.page_source) # bs에게 웹 소스 코드 넘기고 chart_bs 에 저장


total = [] # 노래 번호 저장


# 노래 번호가 있는 코드를 찾고, 형식에 맞게 변환한 후 total 노래 번호 list 에 저장
for x in chart_bs.find("div", class_ = "tracklist").findAll("td", {"class" : "song"}):
	total.append(x.find("a")['href'].split("/")[-1])

 

 

크롤링을 통해 네이버 VIBE 차트 오늘 Top 100 노래 번호들을 모두 가져와 total 이라는 객체에 저장한다.

 

 

 

 

 

네이버 VIBE 차트 오늘 Top 100 노래 제목, 가수, 가사  크롤링하여 폴더에 저장하기

 

 

그렇다면, 이제 오늘 Top 100 의 노래 번호를 가져왔으니, 해당 차트의 노래 제목, 가수명, 가사까지 크롤링하여 원하는 폴더에 저장할 수 있다.

 

 

def get_lyrics(song_id):
	
    url = "https://vibe.naver.com/track/{}" # top 100 에 해당하는 각 노래 링크
    drvier.get(url.format(song_id)) # driver 에게 각 노래 링크 전달
    time.sleep(2) # 페이지 불러오는 시간 기다려주기
    
    bs = BS(driver.page_source) # bs 에게 웹 페이지 소스 전달
    
    if not os.path.isdir("./lyrics") # 경로에 lyrics 폴더가 없다면
    	os.mkdir("./lyrics") # 경로에 lyrics 폴더 만들기
  	
    # 노래 가사 저장
    lyrics = bs.find("div", {"class" : "end_section section_lyrics"}).find("p").text
    
    
    # 노래 제목 저장
    song_name = bs.find("span", class_ = "title").text.replace("곡명", "")
    
    # 가수명 저장
    singer_name = bs.find("span", class_ = "sub_title").text.replace("아티스트명", "")
    
    # 해당 경로에 '노래 제목 - 가수명.txt' 형식으로 파일에 노래 가사 저장
    with open("./lyrics/" + f"{song_name}" + "-" + f"{singer_name}" + ".txt", "w", encoding='utf-8-sig') as f:
    	f.write(lyrics)

 

 

 

 

함수화를 통해 사용하면, 이렇게 유동적으로 사용할 수 있다.

 

 

for idx, x in enumerate(total):
	if idx % 10 == 0:
    print(inx)
    get_lyrics(x)

 

파이썬의 내장 함수인 enumerate() 를 사용하여, index 와 list 의 원소를 동시에 접근하면서 반복문을 돌릴 수 있다.

 

다른 방법으로는,

 

import tqdm

for x in tqdm.tqdm(total):
	get_lyrics(x)

 

tqdm 라이브러리를 통해 반복문의 진행 상황을 시각적으로 확인할 수 있다.

 

 

 

requests,  selenium, BeautifulSoup(bs4) 는 언제 사용하는가?

 

 

- requests

 

HTTP 요청을 만드는 데 사용되며 그 요청을 통해 웹 페이지를 다운로드하고 API에서 데이터를 접근할 수 있다.

 

1) 웹 페이지와 직접 상호 작용할 필요 없는 경우: 즉, API 나 웹 페이지 소스가 필요한 경우

 

 

- selenium

 

웹 페이지를 자동화해야 할 때 사용한다.

 

아래와 같이 단순한 requests 사용(HTTP 요청)이 처리할 수 없을 때 사용한다.

 

1) 웹 페이지가 자바 스크립트에 의존할 경우

2) 콘텐츠에 접근하기 위해 인증이 필요한 경우

 

 

- BeautifulSoup

 

requests 또는 selenium 과 같은 웹 페이지를 전달 받을 수 있는 라이브러리와 함께 특정 데이터의 구문 분석 및 데이터 추출시 주로 사용된다.

 

1) HTML 로 이루어진 소스 코드에서 특정 데이터를 추출하고 싶은 경우

2) requests 와 selenium 과 같이 웹 페이지를 다운로드 하여 특정 데이터를 추출하고 싶은 경우

 

 

[ 정리 ] 

웹 페이지에서 특정한 동작없이 데이터를 추출할 수 있다면, requests 와 BeautifulSoup 만 있으면 크롤링이 가능하다.

그러나, 버튼 클릭과 같은 동작이 필요하다면, 추가로 selenium 을 이용해야 크롤링을 할 수 있다.