Elasticsearch 이해하기

0️⃣ Elasticsearch란?

 

ES는 어떤 역할일까?

 
Elasticsearch는 확장성이 뛰어난 오픈소스 풀텍스트 검색 및 분석 엔진이다.
방대한 양의 데이터를 신속하게, 거의 실시간(준실시간)으로 저장, 검색, 분석할 수 있도록 지원한다.
일반적으로 복잡한 검색 기능 및 요구 사항이 있는 애플리케이션을 위한 기본 엔진/기술로 사용된다.
 
Elasticsearch는 NRT 검색 플랫폼이다.
문서를 색인화하는 시점부터 문서가 검색 가능해지는 시점까지 약간의 대기 시간(대개 1초)이 있다.
 
*NRT(Near Realtime): 준실시간
 
 
 

왜 ES를 사용할까?

 

빠르다.

 
Elasticsearch는 Lucene(루씬)을 기반으로 구축되기 때문에, 풀텍스트 검색에 뛰어나다.
또한 거의 실시간 검색 플랫폼으로, 문서가 색인될 때부터 검색 가능해질 때까지 대기 시간이 보통 1초 정도로 아주 짧다.
보안 분석, 인프라 모니터링처럼 시간이 중요한 사용 사례에 이상적이다.
 
*Lucene(루씬): Apache 에서 개발된 자바 기반의 검색 라이브러리로, 텍스트 검색 등 검색 기능을 제공하는 도구
 
 

분산적이다.

 
Elasticsearch에 저장된 문서는 샤드라고 하는 여러 다른 컨테이너에 걸쳐 분산된다.
이 샤드는 복제되어 하드웨어 장애 시, 중복되는 데이터 사본을 제공한다.
분석적인 특징은 수백 개(혹은 수천 개)의 서버까지 확장하고 페타바이트의 데이터를 처리할 수 있게 해준다.
 
*샤드(shard): 2번에서 설명.
 
 

기능이 많다.

 
속도, 확장성, 복원력뿐 아니라, Elasticsearch에는 데이터 롤업, 인덱스 수명 주기 관리 등과 같이 데이터를 훨씬 더 효율적으로 저장하고 검색할 수 있게 해주는 강력한 기본 기능이 다수 탑재되어 있다.
 
 
 

다른 도구와의 연계성

 
주로 ELK(Elasticsearch, Logstash, Kibana)의 약어로 데이터 수집 및 저장, 분석 및 시각화를 위한 오픈 소스 도구의 조합으로 많이 사용한다.
*Logstash(로그스태시): 로그, 이벤트, 메트릭 등 다양한 유형의 데이터를 중앙 집중화하고 처리하여 Elasticsearch에 전달하는 도구
*Kibana(키바나): Elasticsearch에서 수집된 데이터를 시각화하고 대시보드를 생성하는 도구
 
 
 

ES의 단점은 없을까?

 

트랜잭션과 롤백 기능을 제공하지 않는다.

 
Elasticsearch는 기본적으로 분산 시스템으로 구성되는데, 전체적인 클러스터의 성능 향상을 위해 시스템적으로 비용 소모가 큰 롤백(Rollback)과 트랜잭션(Transaction)을 지원하지 않는다.
최악의 경우 데이터 손실의 위험성이 있다.
 
*트랜잭션(Transaction): DB또는 시스템에서 여러 연산을 하나의 논리적인 작업 단위로 묶어서 처리하는 개념. ACID 개념을 따름.
*롤백(Rollback): 트랜잭션이 실패 및 중단시, 이전 상태로 되돌리는 작업
 
 

데이터 업데이트가 힘들 수 있다.

 
Elasticsearch는 업데이트 명령이 요청될 경우 기존 문서를 삭제하고 변경된 내용으로 새로운 문서를 생성하는 방식을 사용한다.
따라서 단순 업데이트에 비해서 상대적으로 많은 비용이 발생한다.
 
 
 
 

1️⃣ ES의 기본 개념

 

클러스터란?

 
클러스터는 하나 이상의 노드(서버)가 모인 것이며, 이를 통해 전체 데이터를 저장하고 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공한다.
분산 시스템으로 데이터의 분산 저장과 처리를 가능하게 하며, 고가용성, 확장성 및 성능을 향상시킨다.
 
*색인(indexing): 2번에서 설명
 
 

노드란?

 
클러스터의 구성원으로, 데이터를 저장하고 처리하는 역할을 수행한다.
클러스터의 모든 노드는 기본적으로 HTTP를 처리하고 트래픽을 전송할 수 있다.
전송 계층은 노드 간 통신에만 사용되며 HTTP 계층은 REST 클라이언트에서 사용된다.
모든 노드는 클러스터의 다른 모든 노드에 대해 알고 있으며 클라이언트 요청을 적절한 노드로 전달할 수 있다.
 
노드의 역할로,
master,
data, data_content, data_hot, data_warm, data_cold, data_frozen,
ingest,
ml,
remote_cluster_client,
transform
이 있다.
 
우선, 마스터 노드와 데이터 노드를 알아보자.
 
 

마스터 노드 (Master Node)

 
인덱스의 메타 데이터, 샤드의 위치와 같은 클러스터 상태(Cluster Status) 정보를 관리한다.
클러스터마다 하나의 마스터 노드가 존재하며, 마스터 노드가 없는 클러스터는 작동이 정지된다.
 
elasticsearch.yml에 디폴트 설정은 node.master:true로 설정되어 있기에, 모든 노드가 마스터 노드로 선출될 수 있는 마스터 후보 노드(master eligible node)이다.
클러스터가 커지게 되면 노드와 샤드들의 개수가 많아져 모든 노드들이 마스터 노드의 정보를 계속 공유하는 것은 부담이 될 수 있다.
이때는 마스터 노드의 역할을 수행 할 후보 노드들만 따로 설정해서 유지하는 것이 전체 클러스터 성능에 도움이 될 수 있다.
마스터 노드로 사용하지 않는 노드들은 설정값을 node.master: false로 하여 마스터 노드의 역할을 하지 않도록 설정한다.
 
실제 운영 환경에서는 마스터 후보를 1개만 설정하면 안 되고, 최소 3개 이상의 홀수개로 설정해야 한다.
(짝수개일 경우, 네트워크 단절로 클러스터가 분리되고 마스터 후보 노드가 분리되어 동작하면, 추후 다시 합쳐졌을 경우 데이터 정합성에 문제가 생기고 무결성이 유지될 수 없게 된다. 이를 Split Brain이라고 한다.)
 
7.0 부터 node.master: true인 노드가 추가되면 클러스터가 스스로 minimum_master_nodes 노드 값을 변경하도록 되었다.
사용자는 최초 마스터 후보로 선출할 cluster.initial_master_nodes: [ ] 값만 설정하면 된다.
 
 

데이터 노드 (Data Node)

 
데이터 노드는 실제로 색인된 데이터를 저장하고 있는 노드이다.
 
클러스터에서 마스터 노드와 데이터 노드를 분리하여 설정 할 때 마스터 후보 노드들은 node.data: false로 설정하여 마스터 노드 역할만 하고 데이터는 저장하지 않도록 할 수 있다.
이렇게 하면 마스터 노드는 데이터를 저장하지 않고 클러스터 관리만 하게 되고, 데이터 노드는 데이터 처리에만 집중할 수 있다.
 
 
 
 

2️⃣ 데이터 입력 및 저장

 

색인(indexing)이란?

 
데이터가 검색될 수 있는 구조로 변경하기 위해 원본 문서를 검색어 토큰들로 변환하여 저장하는 일련의 과정이다.
 
 

인덱스(index)란?

 
색인 과정을 거친 결과물 또는 색인된 데이터가 저장되는 저장소이다.
또한 Elasticsearch에서 도큐먼트들의 논리적인 집합을 표현하는 단위이기도 하다.
즉, 도큐먼트를 모아놓은 집합을 의미한다.
 
*도큐먼트(document): 색인화할 수 있는 기본 정보 단위(단일 데이터 단위)이며, JSON 형식으로 이루어짐
 
 

샤드(shard)란?

 
색인은 방대한 양의 데이터를 저장할 수 있는데, 이 데이터가 단일 노드의 하드웨어 한도를 초과할 수 도 있다.
이러한 문제를 해결하고자 Elasticsearch에서 색인을 샤드(shard)라는 조각으로 분할하는 기능을 사용한다.
 
 

매핑(Mapping)이란?

 
Elasticsearch는 동적 매핑을 지원하기 때문에 미리 정의하지 않아도 인덱스에 도큐먼트를 새로 추가하면 자동으로 매핑이 생성된다.
주로, 아래와 같은 구조로 매핑을 정의한다.
 

PUT <인덱스명>
{
  "mappings": {
    "properties": {
      "<필드명>":{
        "type": "<필드 타입>"
        … <필드 설정>
      }
      …
    }
  }
}

 
 

역 인덱스(inverted index)란?

 
Elasticsearch는 데이터를 저장할 때 역 인덱스(inverted index)라는 구조를 만들어 저장한다.
추출된 각 키워드를 텀(term)이라고 부르며, 해당 텀을 포함하고 있는 도큐먼트들의 id를 바로 얻어올 수 있다.
데이터가 늘어나도 역 인덱스가 가르키는 id의 배열값이 추가되는 것 뿐이기 때문에 전통 RDBMS에 비해 빠른 검색이 가능하다.
 
 
 
 

3️⃣ 데이터 검색 및 질의

 

DSL(Domain Specific Language)이란?

Elasticsearch는 검색을 위한 Query DSL 이라고 부르는 쿼리 기능을 제공한다.
말그대로, Elasticsearch에서는 도메인 특화 언어로서 JSON에 기반한 질의어를 의미한다.
즉, Elasticsearch의 Query DSL은 모두 아래와 같이 JSON 형식으로 입력해야 한다.
 

GET my_index/_search
{
  "query": {
    "match": {
      "message": "dog"
    }
  }
}

 
 
 
 

📒 참고자료

 
공식문서 위주로 참고했다.
 
https://www.elastic.co/guide/kr/elasticsearch/reference/current/gs-basic-concepts.html
 
https://www.elastic.co/kr/what-is/elasticsearch
 
https://esbook.kimjmin.net/
 
https://12bme.tistory.com/589
 
 
 
 

✏️ 공부하며 느낀점

 
역시 공부할 내용이 많음을 느꼈다.
ES에서 분산 처리하는 과정과 데이터를 저장하는 구조, 질의 방법 등이 신기하기도 하고...
 
그리고 확실히 현직에서 많이 쓰이는 것 같다.
ES에 대해 검색만 하면 여러 국내 기술 블로그에서 쓴 글이 다수 존재했다.
 
공부하면서 직접 써 볼수록 더 알아가고, 더 제대로 알고 싶어진다. ES에 대해 완벽히 이해하고 싶다.