빅지기 스터디 5주차 정리

질문1)

(p211) 에서는 스트리밍 처리와 배치처리를 하기위해서, 데이터를 메세지 브로커로 먼저 넣는 것을 볼수 있는데요, 이와 관련해서 Kafka를 많이 쓰는것으로 알고있습니다. 근데, 책에서는 스트리밍관련된 내용으로 Spark Streaming을 예시로 들고 있더라구요. 실제로 현업에서 메세지 시스템을 위해 Spark Streaming을 쓰시는 분이 계신지, 도입하실때 어떠한 점을 고민하셨는지 궁금합니다!

 

답변)

실제로 카프카와 연결하는 파이프라인 구축하려고 하는 중...스트리밍이랑 카프카랑 두개놓고 비교하기엔 목적이 다르다. 카프카로 메시지 브로커로 쌓고 컨슈머로 땡겨받아서 스파크 스트리밍이 데이터 가공처리하고 메시지 브로커로 넘기는 아키텍처를 사용하는 분들이 많다. 그래서 두개를 놓고 비교하기엔 애매하다.

 

요즘은 스파크 스트리밍 대신, 플링크도 많이 사용한다. 좀 더 실시간 처리에 더 적합한 느낌이라는 식으로 말씀을 많이 들은 것 같다.

 

Kafka : 데이터의 유실을 막을 버퍼가 필요할떄 유용 Spark streaming : 데이터 유실보다는 고속으로 스파크에서 처리하고 싶을떄 쓰는 것 같아요 조건은 저 두가지로 ?

---

질문2 - 내 질문)

1. 배치 처리 혹은 스트림 처리 시, 기존에 실행하고 있는 task와 복구를 위해 다시 진행하는(오류 났던) task를 동시에(같은 시간에) 처리할 수 있나요?

2. 모든 task는 일단 큐에 저장되어 병렬 처리된다고 했는데(p.196), 오류를 복구하기 위한 task도 정상 task들과 같이 있는 큐에 포함되어 같이 실행되나요?

3. task는 지정된 시간에 따라 모아서 처리된다고 했는데(197p), 오류를 복구하기 위한 task도 시간을 기준으로 분류되어 정상 task들과 같이 처리되어 실행되는지 궁금합니다.

→ 한 질문으로 정리해 본다면, 오류로 저장된 task는 정상 task들과 따로 처리되는지 아니면 함께 처리되는지에 대한 질문으로 정리할 수 있을 것 같습니다.

좀 더 생각해 봤는데, 오류로 저장된 task는 재실행 task기 때문에 정상 task들과 같이 똑같이 처리할 것 같은 데 제가 생각한 게 맞을까요...?

 

답변)

파티션을 나눠서, A끝나고 B진행하고 큰 큐로 봤을땐 오류랑 정상 태스크 같이있다. 오류랑 정상 태스크 같이 하나의 큐에 들어가있다. +) 큐 안에서 태스크별로 a,b시스템이구분이 되어지고, 경쟁할 일이 없다.

 

1, 2, 3 케이스는 정책(회사 및 현장)에 따라 다른 것 같아요

(첫번쨰 큐) → 정상처리 오케이 → 비정상 (두번째 큐)에 넣기 정도로 해결하기도 하네요 재 실행할때는 정상 처리처럼 진행해야 할듯해요 ordered 일이 아니면

---

질문3)

1. airflow를 회사에서 단순 데이터엔지니어가 워크플로우로 사용하고 있나요? 백엔드에서도 배치잡을 관리하는 용도로 쓰고 있는곳도 있다해서, 어떻게 활용하고 있는지 궁금

airflow 태스크 구현에 늘 궁금했는데요 물론 개발자에 따라 다르긴 하겠지만 어떤식으로 개발을 하고 있는지 궁금해서요~

2. airflow에서 멱등성을 위해 트랜잭션 쿼리를 어떻게 개발하고 있는지 궁금함 주는 보통 .sql 파일에서 delete-insert나 upsert를 사용했는데 파이썬파일에 쿼리를 입력해서 begin end를 써서 더 많이 쓰는지 궁금

3. csv파일을 불러올때도 주로requ est 패키지를 써서 url로 불러오는지 csv 패키지를 써서 파일로 불러오는지 궁금

 

답변)

1. 개발자 마다 사용용도가 다르다. 프론트 기능으로도 사용하기도 하고 활용분야가 너무 넓다.생각보다 에어플로우를 배치잡 스케쥴러 관리로 많이 사용하는 듯하다. 가벼운 작업인 경우엔 제플린에서 제공하는 크론탭 기능을 사용하기도 합니다.

 

에어플로우의 레거시가 많다보니, dag형식으로 코드를 수정해야 하는데 수정할 양이 많아서 포기했다. 컨테이너를 병합하는 걸로해서 수정하기로 했다. 레거시가 있는 케이스같은 경우에 에어플로우 사용은 조금 제약이 있는 것 같다.

 

2. 하이브 테이블 파티셔닝을 통해 날짜별로 따로 보관하는데, 파티션 오버라이트라는 값을 사용합니다. 파일자체를 지우고 다시 파일을 덮어쓰는 방식을 선호한다.

 

3.csv파일을 불러올 때 주로 어떤 스킬을 사용하는지?

→ 소스가 어디에 있느냐에 따라 좀 다른 것 같다. 예를 들어, 구글 드라이브면 리퀘스트 쓰거나 파일 그대로면 그냥 csv로 읽어오고 전처리 해서 가공해서 쓰는 것 같다.

→ 로컬 상에서는 to_csv, 외부 소스로부터는 url을 사용하는 것 같다.

 

1. airflow 구현은 정말 현장에 따라 다 달라서 뭐라고 말씀드리기는 어렵네요. 보통은 데이터의 수집 이후 시퀀스 처리(대량의 데이터는 멀티노드에서 시퀀스 처리)에 많이 사용하고 있습니다. 사실 DAG를 잘만들고 관리하는게 키인 플랫폼이라고 생각합니다

2. 저는 사실 python을 선호하는 입장에서는 후자를 쓰는데, sql 선호하시는 분들도 많습니다

3. csv를 request로 받아서 처리하신다는건지는 모르겠네요;; request는 보통 RestAPI server에 http/https request를 이용해서 response를 처리할 때 사용합니다