빅지기 스터디 1주차 정리

질문 1)

질문1. 데이터 수집은 벌크(bulk)형데이터, 스트리밍(Streaming)형 데이터로 구분되는데 스트리밍형 데이터 수집을 할때 Message Queue를 쓰는 Kafka 를 쓰거나, Spark Streaming을 쓰는 기업으로 구분되는것같은데 두개의 차이는 무엇일까요??

질문2. 대부분의 빅데이터환경은 분산환경을 목표로 구축한 경우가 대다수인것같은데, 데이터분석을 할때 주로 쓰는 Pandas, Numpy를 분산환경에서 적용할수는 없을까요??

 

답변)

두 개의 차이는 역시 Queue의 유무인듯 Kafka queue는 일종의 버퍼 역활이 가능해서 데이터 수집장치의 데이터를 일정시간 queue에서 보관할 수 있음(데이터 발생 장치 고장시간, 데이터 수집 장치 고장 시간 등) 특히 kafka cluster로 구성했을때. 둘 중에 하나를 쓰는 건 아니고 흐름이 다를 듯

 

(데이터 발생) -> (카프카) -> (스파크 스트리밍)

(데이터 발생) -> (스파크 스트리밍) : 데이터 버퍼 필요 유무에 따라서?

 

카프카는 데이터를 중간 처리를 할 수 있고, 데이터 유실이 안되야 할 때 많이 사용…

스파크 스트리밍이라고 꼭 스트리밍 데이터를 사용할 필요 없다.

카프카의 주목적 데이터 유실 막고 큐형태 구현이 필요할 때 많이 사용한다.

큐도 한계가 있기 때문에, 카프카를 클러스터 형태로 구축해서 중복으로 빼가지만 않도록 처리를 주로 한다.

 

distributed pandas, numpy를 구현하면 가능하겠지만, 메모리 기반의 데이터 객체다보니.. 리모트 서버에 메모리에 올려 있는 걸 로컬 서버에 다시 옮겨오는데 비용이 너무 커서 비효율일듯 이러한 걸 극복하기위해 Tableau, Apach Zeppelin 같은 솔루션을 구축하는게 비용이 더 싸고 관리가 용이 하다고 생각

판다스는 로컬에만 빠르다. 로컬에서 분석할 때만….

하둡이나 스파크에서 판다스나 넘파이를 사용하지는 않는 것 같다.

---

질문 2)

질문 1. rdb 형태든, 시계열 데이터든, nosql 형태의 데이터들같은 바로 분석에 쓸 수 없는 원자료 형태의 데이터 소스들을 데이터 레이크에 보존한다고 이해했습니다 -> 여기서 데이터 레이크는 하둡 안 시스템에 저장을 해 놓는 건가요?

하둡을 실제로 구동해 보는 작업을 해 보면 명확히 이해할 것 같은데, 하둡 안에 데이터를 저장할 때는 데이터 노드에 담긴다고 하더라구요 이건 데이터 형태에 관계 없이 데이터 노드에 때려박아놓고 필요한 것만 꺼내는 형식이라고 이해했는데 맞게 이해한 건지 궁금합니다

질문 2. 책을 읽어 보면서 데이터 분석을 하기 위해서는 data frame의 형태와 같은 스프레드 형태로 변환해야 할 것 샅다는 생각이 들었습니다. (26쪽 참고) nosql 같은 경우는 json, key-value 형태로 이루어져 있는데 이를 데이터레이크(분산스토리지)에서 데이터 마트에 분석용 데이터로 적재 or 가공할 때 사용하는 것이 바로 spark 프레임워크인 건가요?

질문 3. 여기까지 제가 이해한 게 맞다면 nosql 데이터도 결국 스프레드 형태와 같은 정형화된 행렬 구조로 변환을 해야 분석이 가능하다라고 이해를 했는데 제가 이해한 게 맞을까요?

 

답변)

이미지 같은 경우는 실제로 숫자 데이터다. 숫자 스프레드 형태고 이걸 키밸류로 사용하고 키는 데이터에 위치하고… 데이터 스프레드 형태와 쿼리로 나오는 형태를 하둡의 키값으로 사용하고 쿼리를 해서 행렬을 꺼내오고 이미지를 볼수 있게 nosql사용

하둡은 데이터들의 집합이고, 실제로는 로컬에 wal로그형태로 저장하고 이게 하둡에서 돌고 자기 하드 디스크에 저장되고 기록된다. 스파크는 로컬에서 속도가 안나와서 hws?위에서 사용?

데이터 가공시 프로그램언어로 할수 있음, 필립스라는 솔루션을 사용하면 됨. sql → nosql로 변환해줌. 이런 솔루션이 존재는 하지만 속도는 떨어진다. 요즘엔 pyspark를 사용한다!

---

질문 3)

1. 1장을 읽어본 결과 데이터 처리 구조는 데이터의 용도에 따라서 달라지는 것 같습니다. 현업에 계신분들은 어떤 데이터 처리 구조를 사용하고 계신가요? 저는 스몰 데이터를 처리하고 있으며 전형적인 ETL 구조를 사용하고 있습니다. 크롤링후 원본 데이터 DB 적제, 전처리 (파싱), 적제 하는 구조를 사용하고 있습니다. 다른 분들은 어떤 구조를 사용하시는지 궁금합니다.

2. BI 툴을 사용하는 이유는 조작이 간편하기 때문인가요? 저자가 언급했듯이 pandas로 핸들링이 가능한 데이터라면 BI를 사용하지 않고 matplotlib으로도 충분히 시각화가 가능할 것 같습니다. BI를 사용하는 장점으로 자동화와 핸들링이 쉽다는 것 외에 큰 장점이 없어 보입니다. BI를 사용하시는 분들의 코멘트 부탁드립니다.

저자가 23 페이지에서 프로그래밍언어를 사용하는 것은 개발자의 영역이라고 언급하고 있습니다. 현업에 계신분들은 실제로 프로그래밍 언어를 사용하지 않으시나요? 저는 EDA는 pandas를 사용하고 있으나 데이터 전처리 작업은 python과 AWS로 처리하고 있습니다.

 

답변)

2,3: 에드 훅 분석 같은 거는 워크플로우로 해도 되는데, 회사에서 쓰는 통계자료를 실시간으로 보고 싶을 텐데 자동화 목적으로 사용하면 좋다. 협업+간편

sql위주로 사용하고 대용량 데이터를 6개월 주기로 적재함. 스파크나 에어플로우는 전혀 안쓰고 있고 씨샵으로 대체프로그램을 사용하고 계심…이런 경우도 있다.

3: 업무 자동화를 위한 개발, 에어플로우를 주로 사용하여 데이터 수집 업무를 하고 있기 때문에 덱을 개발하거나, 자바로 스프링 백엔드 사용하는 경우도 있습니다.

2: 협업이 제일 편해서 하는거고, 주피터나 파이썬에서 해도 메타폴러리로 그냥 사용해도 되긴함… 필요하면 프런트 갖다가 쓰면 됨..ㅋㅋ 역시 사용하는 이유는 쉽고 예쁘기 때문에…?

1: 보통 실제로 저렇게 하고, na데이터같은경우 미리 처리하고 전처리는 크롤링할때 주로 작업함. 분산처리시스템 들어가기전에 전처리를 잘 해야함 안그러면 시간 오래걸림

3: 에어플로우로 사용한 경험 있고, EDA해보고 전처리도 잘됐구나 하고 확인하고 만다…? 샘플링해서 EDA를 한번해보고 데이터가 잘 저장되었는지 확인함.

---

질문 4)

1. 데이터 마트/데이터 웨어하우스/ 데이터 레이크 를 명확히 구분해서 설명해주실 수 있는 분이 계신지 궁금하구요 ++ 다시 읽어보니 데이터가 적으면 하둡까진 사용안해도 데이터웨어하우스만으로 충분하다고 이해하는게 맞나요?? p7

2. 시계열 데이터를 현업에서 쓰고계신분 있는지 궁금해요, 많이 낯서네요

3. p18 데이터레이크 개념을 사용할경우 데이터웨어하우스랑 공존할수 없는건가요?? 마트만 있어서요~

4. 애드혹 분석이랑 bi 분석 차이가 뭔지 간단히 알 수 있을까요

 

답변)

3. 추상적인 개념이 맞다. 하둡에 저장된 걸 데이터 레이크로하자고 하면 끝난다. 회사마다 부르는 용어만 다르고 데이터 레이크라고 꼭 단일 데이터만 저장할 필요는 없다. 솔직히 차이를 두지 않아도 된다.

4. 애드훅 베이스라는 단어에서 온건데, 원타임으로 하는 것. 비아이는 매달 매월 매주 등 주기적으로 해야하는 일들이 많아서 자동화가 되어야 하고 코딩하기 쉬워야 한다.

1. 적은 데이터도 하둡에 사용해도 상관없음… 정석은 노드 5개로 구성해야합니다…그래야 하둡이 가지는 정확성 무결성 잃어버리지 않게하려면 5개는 적어도 필요하다.

2. 시계열 데이터는 정말 많이 사용한다. 시계열 데이터가 아니어도 시계열 데이터를 많이 사용한다. 시간적인 분석이 필요한 경우도 많으니까.

데이터 형태는 json인지 컬럼인지 궁금함…→ csdb뒷단에 붙인다…???

---

질문 5)

질문1. 책 내용 중에 멀티 코어에 의한 대규모 병렬처리인 mpp 기술을 소개하면서 “mpp 데이터 베이스”와 “대화형 쿼리엔진”에 대해 비교하던데 이 둘의 차이에 대해 명확히 개념 정립이 되지 않습니다. 추가적으로 “인메모리 데이터베이스”라는 것도 나오던데 각각의 db에 대한 설명 부탁드리겠습니다.

질문2. 좀 뻘한 질문일 수도 있지만 개인적으로 좀 궁금해서 질문드립니다. ETL과 ELT가 있는데 여기서 Transform 하는 데에 비용이 많이 들어가다 보니 요즘의 경우 일단 Load를 하고 Transform 하는 ELT를 선호 한다고 들었습니다. 그런데 Load를 먼저 했다고 하지만 결국에는 Transform을 거쳐야 할텐데 그럼 그 사이에서 일부 데이터를 정제하는 일련의 작업이 추가되어야 하는 것일까요??

 

답변)

1. 컬러마이즈 스토어는 하둡에 ~~데이터베이스로 저장하는데, …..대화형 쿼리엔진은 타블로이드나 아파치 제플린이 보통 이런 형태를 가진다. 웹페이지 프런트에 접속해서 쿼리를 치면 바로 데이터 일부를 보여준다,,,? 인메모리 데이터베이스 레지스. 스파크 스트리밍 등 레지스라는 솔루션은 메모리에 일정 공간 차지하면서 고속 키밸류 데이터베이스를 만들어준다. na데이터등 로우 레벨 케이스를 인메모리 데이터베이스에서 해주면 인메모리 데이터베이스 역할은 끝난다.

2. 트렌스폼하는 건 위치에 따라 비용이 다르다. 앞에서 다처리하면 컴퓨터가 너무 힘들고 엔드유저쪽에서 하면 비용이 너무 많이 든다…상황에 맞게 적재적소에 맞게 해야함.

하이브는 엄청 느림…→

스파크에서의 rdb의 역할…?

---

질문 6)

1.nosql에 관해 여러 종류가 소개 되었더라구요. 공통적으로 읽고 쓰는 효율을 위해 사용하는것 같은데, rdb와 달리 실 사용시 고려해야 하는 부분들이 있다면 어떤 부분들이 있을지 궁금합니다.

2.수집시 앞단에 앱/웹에서 데이터를 수집하는 방법은 어떤식으로 구성 되어있는지 궁금합니다.

 

답변)

노에스큐엘은 인덱싱을 해야함. csv데이터는 요즘 펍상방식으로 한다?? 레디스나 카프카 붙여서 유용하게 사용한다.

---

질문 7 - 내 질문)

1. 하둡은 '다수'의 컴퓨터에서 데이터를 분산 처리하기 위한 시스템이라 하였는데, 개인 컴퓨터(노트북 등) 같은 환경에서 하둡을 사용하여 데이터를 처리했다면 이 경우에는 분산 처리를 진행했다고 보기 힘든 것인가요?

2. 데이터 레이크. 데이터 마트는 주로 어떤 툴?시스템?에 데이터들을 저장하나요? 그리고 이것들이 보통 하나의 큰 데이터베이스 안에서 다루는지, 여러 개의 데이터베이스로 나뉘어 다루는지 궁금합니다.

 

답변)

2. 데이터 레이크는 추상적인 거라 말씀드렸고, 데이터마크는 gpb라는 거 사용하고 mpp 할때 gpdb를 사용하심. 여러개 데이터베이소로 나뉜다면, 실제로분산정렬 처리를 할때 디스크가 서로 분리 되어 각각의 디스크가처리되기때문에 하나로 보일지라도 저렇게 사용된다.

데이터 툴같은 경우에는 동영상 보면 좋을 것같다. 함께 보면 좋을 듯 하다

1. 하둡도 싱글노드로 할 수있지만 프러덕션 ㅔ벨이 아니니까 분산 처리는 아니다. 맵레듀스라는 개념이있는데 각 노드를 레듀ㅠ스로 합쳐야 하니까 분산처리로 하자고 하기 힘들다.

2. 보통 하나의 큰 데이터베이스 안에서는 안하는 것 같다. 커지면 커질수록 비용이 너무많이 드니까. 회사 바이 회사긴 함.ㅋㅋ멀티 rdb 아마존에서 그런식으로 사용할 수 도 있다. 합치는 기업들이 많아지고 있음

(2번에 대한 인사이트 주심)

https://youtube.com/playlist?list=PLL-_zEJctPoJ92HmbGxFv1Pv_ugsggGD2

최신 데이터 인프라 이해하기

https://rfriend.tistory.com/377

[Greenplum DB] 세계 최초 오픈소스 대용량 데이터 병렬 처리 데이터 분석 플랫폼, Greenplum Database (GPDB

---

질문 8)

1.데이터 레이크에 타입에 상관없이 데이터를 담아두지만 대부분의 경우는 CSV나 JSON 등의 범용적인 형식을 담아둔다는데 혹시 현업에 데이터 레이크를 사용할 때 이외의 타입을 사용하시는 경우가 있는지가 궁금합니다.

2.파케이 파일을 데이터 프레임으로 읽어들일때 아파치 애로우를 사용하면 더 빠르다는 이야기를 들은적이 있습니다. 혹시 데이터 프레임으로 읽어들일때 아파치 애로우를 활용해 CSV를 파케이로 변환 후 읽는 작업을 해보신 경험들이 있으신지 궁금합니다.

 

답변)

2. 무조건 사용한다 파케이를 저장하면 에로우를 무조건 쓴다. 음성 데이터는 블락으로 저장하기도 했고 이미지는 행렬 파일로 만들어 파케이로 컬러마이징해서 사용하기도 하고…꺼냈을 때 편하자는게 목적성이라 …

+) 컬럼 데이터를 사용하려는 경우는 판다스나 넘파이를 사용하기 위해서?? 파케이 같은 데이터 형태 포멧과 연관이 있는지?

로우 베이스로 저장하면 머신 마다 다르게 있으면 엄청난 오버헤드가 걸린다. 파케이는 바이너리 파일이고 얘를 컬럼으로 저장하면, 데이터 프레임을 맞춰놓으면 한번에 합쳐서 하고 각각의 노드로 되니까 파케이로 하면 한번에 된다. 대신 단점은 로우로 자르고 싶을 땐 힘들어진다. 회사마다 다를 듯…?

---

추가 질문)

하둡과 스파크 어케 공부하나요???사용해보고 이론적으로도 이해하고 싶어요.

 

답변)

로컬에 개발형태의 하둡에 스파크를 올려서 느리더라도 조금씩 분산 데이터까지 aws프리티어 잠깐 붙여서…다시 빼면됨

회사 도커 엔진에다 컨테이너 여러개 붙여서…ㅋㅋㅋ 이론은 닥치면 봐봤다….책을 사고 필요한 챕터부터보고 그랬던 것 같다. 실무 위주의 학습을 추천…