🐰 써밍의 블로그

질문1) (p211) 에서는 스트리밍 처리와 배치처리를 하기위해서, 데이터를 메세지 브로커로 먼저 넣는 것을 볼수 있는데요, 이와 관련해서 Kafka를 많이 쓰는것으로 알고있습니다. 근데, 책에서는 스트리밍관련된 내용으로 Spark Streaming을 예시로 들고 있더라구요. 실제로 현업에서 메세지 시스템을 위해 Spark Streaming을 쓰시는 분이 계신지, 도입하실때 어떠한 점을 고민하셨는지 궁금합니다! 답변) 실제로 카프카와 연결하는 파이프라인 구축하려고 하는 중...스트리밍이랑 카프카랑 두개놓고 비교하기엔 목적이 다르다. 카프카로 메시지 브로커로 쌓고 컨슈머로 땡겨받아서 스파크 스트리밍이 데이터 가공처리하고 메시지 브로커로 넘기는 아키텍처를 사용하는 분들이 많다. 그래서 두개를 놓고 비교하기엔..

질문 1) 1. 시계열 데이터 최적화 방법(p.154 ~ 160) 중에서 현업에 계신분들은 어떤 방식을 사용하시는지 궁금합니다. 책에서는 데이터 마트로 넘어갈때 이벤트 발생시간을 기준으로 정렬하는걸 가장 효과적이라고 설명하는데 다른분들은 어떤식으로 사용하고 계시는지 궁금합니다. 2. DynamoDB는 p2p 형식의 아키텍처로 모든 노드가 동등한 관계를 이루는 형태(p.163)라고 이해를 했습니다. 그렇다면 데이터가 저장되면 모든 노드가 동기화되는 과정을 거치기 때문에 저장즉시 데이터를 바로 조회할 수 없을것으로 생각됩니다(CAP 일관성 여부). 하지만 아래 사진처럼 DynamoDB는 Consistency와 Partition-Tolerance의 성질을 가진다고 표시되어 있는데 이는 Strongly Cons..

질문 1) 1. Hadoop에서 분산 애플리케이션을 실행하면 Yarn에서 클러스터 전체의 부하를 보고 비어있는 호스트부터 컨테이너를 할당한다(p.94)고 하는데 해당 내용이 Yarn 스케줄 방식 중 하나인 Capacity를 의미하는 거라고 이해하면 되는 걸까요? 맞다면 FIFO(queue), Fair 방식은 잘 쓰이지 않기 때문인 것인지 궁금합니다. 2. 책에서는 마스터 테이블의 이력을 관리하는 방법으로 스냅샷 테이블, 이력 테이블 중 스냅샷 테이블 방식으로 관리하는 것이 더 쉽다고 설명하고 있는데, 현업에서는 실제로 어떤식으로 관리하는지가 궁금합니다. 제 개인적인 생각으로는 스냅샷, 이력 테이블 모두를 이중으로 관리할 것 같다는 생각이 들어 질문남깁니다. 답변) 1번에 대해 찾아본 것: https://..

질문 1) 1.비정규화 테이블을 구성할 경우 하나의 팩트 테이블이 여러개의 디멘젼 테이블을 참조하게되면 아래 그림처럼 지네효과(the-centipede-effect)라는 현상이 발생한다고 하는데, DW 모델링 관점에서는 이런 현상이 발생하는 것을 지양해야 한다고 합니다. 주요 디멘전 테이블(전사 운영 시스템에서 공통적으로 사용하는 데이터가 있는 디멘전 테이블)이 하나의 큰 팩트 테이블로 관리가 되기 때문에 각 디멘젼별 세부적인 속성들은 관리가 되지 않기 때문이라고 하더라고요. 예를 들어 고객 관리 디멘젼 테이블의 기본적인 값들(나이, 성별, 구매제품)만 관리되기 때문에 이외에 세부적인 속성들까지는 관리할 수 없는 문제가 있다고 합니다. 혹시 실무에서 모델링을 하시고 계시는 분이 있다면 위와 같은 문제가 ..

질문 1) 질문1. 데이터 수집은 벌크(bulk)형데이터, 스트리밍(Streaming)형 데이터로 구분되는데 스트리밍형 데이터 수집을 할때 Message Queue를 쓰는 Kafka 를 쓰거나, Spark Streaming을 쓰는 기업으로 구분되는것같은데 두개의 차이는 무엇일까요?? 질문2. 대부분의 빅데이터환경은 분산환경을 목표로 구축한 경우가 대다수인것같은데, 데이터분석을 할때 주로 쓰는 Pandas, Numpy를 분산환경에서 적용할수는 없을까요?? 답변) 두 개의 차이는 역시 Queue의 유무인듯 Kafka queue는 일종의 버퍼 역활이 가능해서 데이터 수집장치의 데이터를 일정시간 queue에서 보관할 수 있음(데이터 발생 장치 고장시간, 데이터 수집 장치 고장 시간 등) 특히 kafka clus..