🐰 써밍의 블로그

이번 2주 차 미션을 진행하기 앞서, 1주 차에 공통 피드백으로 주셨던 것을 먼저 정리했다. 커밋 메시지 컨벤션을 내 방식으로 정리해서 커밋 메시지 형식을 지키도록 노력했고, 클린 코드 체크 리스트를 따로 작성해서 제출하기 전에 확인할 수 있게 만들었다. 개발을 본격적으로 시작하기 전에, 미션에서 요구하는 사항을 정리한 '기능 목록'을 먼저 작성했다. 미션을 이해하고, 개발해야할 큰 흐름을 이해하는데 도움이 많이 되었다. (그러나, 처음부터 기능 목록을 완벽하게 작성 하기는 어려웠다. 이정도면 필요한 기능들 다 썼을거라 생각했지만, 개발하면서 빼먹은것들이 조금 있어서 나중에 개발하면서 추가해줬다!) 개발 목록을 작성하고, 솔직히 개발을 시작하는게 조금 두려웠다. 예제 코드 없이, 참고하는 것 없이, 스스..

우아한테크코스 5기 백엔드에 지원하여, 프리코스에 참가하게 되었다. 1주차는 git과 친해지는 시간이었다. 우선, Github fork 통해 내 레퍼지토리에 저장했다. IntelliJ의 터미널을 사용해 git clone 을 진행했다. git clone git status 를 통해 잘 받아왔음을 확인하였다. IntelliJ의 터미널을 사용해 git clone 을 진행했다. git clone git status 를 통해 잘 받아왔음을 확인하였다. Git branch를 활용하는 방법을 구체적으로 알기 위해서, Git flow에 대해서 알아 보았다. 아래는, 참고 자료한 자료들이다. 특히 아래 블로그들이 정말 정리가 잘 되어 있다. 도움을 많이 받았다. https://github.com/DoTheBestMayB..

아침부터 부랴부랴 일어나서, 10시 쯤 도착했다! 출근 시간에 코엑스까지 가려니까 시간이 오래걸렸다...(전장연 때문에 못가는 줄 알았다...) 들어왔는데, 자리가 벌써 꽉 차서 깜짝 놀랐었다..! 첫 번째 강연자분께서 진행해주셨고, 드루이드에 대한 소개를 하셨다...! 질의응답도 받으셨는데, 드루이드의 약점이었던 '조인'에 대한 질문이었고 열심히 대답해주셨다. 내가 영어를 잘했더라면 많이 알아 들을 수 있었을텐데, 영어 실력이 안좋다보니 거의 못알아들어서 정말 아쉬웠다... 영어 공부도 정말 하고 싶어진 순간이었다. (꼭 나중에 영어 프리토킹 할 수 있는 사람이 되겠어!!) 대학생 신분이지만, 감사하게도 명찰까지 나눠주셨다. 여러 선물도 챙겨주셨고, 강의 중간 중간에 쉬는 시간도 많이 주셨다! 식비까지..

아파치 드루이드 “데이터베이스 + 분석 지원 시스템”이라고 정리하면 될 것 같다. “분석 애플리케이션을 지원하도록 특별히 설계된 고도로 최적화된 분산 수집 데이터베이스” (실시간 데이터를 다수의 이용자들이 접속해 그때그때 필요한 분석을 할 수 있는 환경을 제공하는 데이터베이스) 아파치 드루이드의 강점 실시간 데이터를 분석할 수 있다 다수의 분석 이용자를 수용할 수 있다 → 마스터 노드와 쿼리 노드, 데이터 노드를 각각 독립적으로 컨트롤함으로써 가능 스트리밍(실시간) 데이터 분석에 드루이드가 많이 활용되는 이유 스토리지에서 컴퓨팅 레이어로 데이터를 미리 가지고 준비를 시켜 놓는다. 쿼리를 실행하기 전에 이미 데이터가 준비가 되어 있는 것이다. 그리고 자동으로 노드 밸런싱을 수행하며, 변경된 노드에 맞게 워..

내가 하고 싶은 일을 찾고, 꿈을 향해 나아가고 있는 나는, 이런 내 자신이 적응이 안될 정도로 나름 열심히 살고 있다. 이렇게 오랫동안 꾸준히 노력해보는 경험은 처음인 것 같다. 9월부터 지금까지 거의 매일 아침 학교 도서관에 와서 하루를 보내고 있다. [ 코딩: 백준, 프로그래머스, 해커랭크 ] [백준] 대학교 2학년때 가장 열심히 했고, 알고리즘 문제 풀이의 필요성을 못느낌 + 문제 난이도가 점점 어려워져 한계에 부딪힘 그래서 오래 쉬었다. 코딩 테스트 준비를 하면서 조금씩 다시 개념 정리하면서 문제를 풀고있다. (어느덧, 400문제를 넘었다.) [프로그래머스] 코테를 위해 이 사이트에 적응할겸, 기초를 더 다지고 싶어서 Lv0 문제 위주로 100문제를 풀었다. 여기서, 카카오 기출 문제를 풀 예정..

SK C&C 판교 데이터센터 화재로 인해 카카오 서비스가 대거 장애가 발생했다. 지하 3층 배터리실에서 스파크가 발생하여, 리튬 배러티 랙의 화재가 원인이였다. 카카오가 판교 외에도 다른 데이터 센터도 존재하겠지만, 메인 데이터 센터에 영향을 받으면서 카카오의 대부분의 서비스가 차질을 빚은 것으로 보인다. 예상치 못한 자연재해로 인한 사고다 보니, 서비스가 정상화되기 위해 하루~이틀 정도는 시간이 필요할 수 있다고 생각했다. 며칠동안 고생하시고 계시는 엔지니어님들 및 관계자의 노고에 응원하고 존경한다. 카카오라는 큰 기업이라면 당연히 신속하게 대응하여 서비스 운영 대처를 할 것이라는 기대를 했지만, 이 부분은 미흡했던 것 같다. “주요 데이터와 서비스 응용프로그램에 대한 이중화 조치는 되어 있었으나 개발..

질문1) (p211) 에서는 스트리밍 처리와 배치처리를 하기위해서, 데이터를 메세지 브로커로 먼저 넣는 것을 볼수 있는데요, 이와 관련해서 Kafka를 많이 쓰는것으로 알고있습니다. 근데, 책에서는 스트리밍관련된 내용으로 Spark Streaming을 예시로 들고 있더라구요. 실제로 현업에서 메세지 시스템을 위해 Spark Streaming을 쓰시는 분이 계신지, 도입하실때 어떠한 점을 고민하셨는지 궁금합니다! 답변) 실제로 카프카와 연결하는 파이프라인 구축하려고 하는 중...스트리밍이랑 카프카랑 두개놓고 비교하기엔 목적이 다르다. 카프카로 메시지 브로커로 쌓고 컨슈머로 땡겨받아서 스파크 스트리밍이 데이터 가공처리하고 메시지 브로커로 넘기는 아키텍처를 사용하는 분들이 많다. 그래서 두개를 놓고 비교하기엔..

질문 1) 1. 시계열 데이터 최적화 방법(p.154 ~ 160) 중에서 현업에 계신분들은 어떤 방식을 사용하시는지 궁금합니다. 책에서는 데이터 마트로 넘어갈때 이벤트 발생시간을 기준으로 정렬하는걸 가장 효과적이라고 설명하는데 다른분들은 어떤식으로 사용하고 계시는지 궁금합니다. 2. DynamoDB는 p2p 형식의 아키텍처로 모든 노드가 동등한 관계를 이루는 형태(p.163)라고 이해를 했습니다. 그렇다면 데이터가 저장되면 모든 노드가 동기화되는 과정을 거치기 때문에 저장즉시 데이터를 바로 조회할 수 없을것으로 생각됩니다(CAP 일관성 여부). 하지만 아래 사진처럼 DynamoDB는 Consistency와 Partition-Tolerance의 성질을 가진다고 표시되어 있는데 이는 Strongly Cons..

오늘 한 회사의 코딩테스트를 봤다. 내가 더 꾸준히 알고리즘 공부를 했다면 더 좋은 결과를 가졌을 수 있었을 것 같다. 부족하고 아쉬운 느낌이 정말 많이 들고, 이 느낌을 간직하고 나를 좀 더 가꿔야겠다. 너무 부정적으로 생각하지말자. 내가 지금 아쉽고 어려움을 느끼는 것은 앞으로 더 배우고 성장할 수 있다는 점임을 반드시 기억하고 노력하자. 그만큼 성장하고 발전해서 내 스스로에게 떳떳한 사람이 되자.

질문 1) 1. Hadoop에서 분산 애플리케이션을 실행하면 Yarn에서 클러스터 전체의 부하를 보고 비어있는 호스트부터 컨테이너를 할당한다(p.94)고 하는데 해당 내용이 Yarn 스케줄 방식 중 하나인 Capacity를 의미하는 거라고 이해하면 되는 걸까요? 맞다면 FIFO(queue), Fair 방식은 잘 쓰이지 않기 때문인 것인지 궁금합니다. 2. 책에서는 마스터 테이블의 이력을 관리하는 방법으로 스냅샷 테이블, 이력 테이블 중 스냅샷 테이블 방식으로 관리하는 것이 더 쉽다고 설명하고 있는데, 현업에서는 실제로 어떤식으로 관리하는지가 궁금합니다. 제 개인적인 생각으로는 스냅샷, 이력 테이블 모두를 이중으로 관리할 것 같다는 생각이 들어 질문남깁니다. 답변) 1번에 대해 찾아본 것: https://..