(0) ELK란?

아래 3가지 데이터 분석 Prcoess의 약어.

여기에 데이터를 수집하는 beats 까지 합쳐, ELK Stack이라 부른다.

• Elastic Search
• Logstash
• Kibana

---

---

각 단계별 역할

beats : 데이터를 수집하는 역할.

         네트워크 패킷, 윈도우 이벤트, 로그 파일 등 다양한 데이터 수집가능

         ※ 해당 페이지에서는 로그 파일을 수집하는 Filebeat를 사용할 예정

logstash : 데이터 정제 , 가공

              beats로 부터 수집된, 다양한 데이터들에 의미를 부여한다.

 

김성태 / 185cm / 75kg 라는 데이터가 있다면

아래와 같이 KEY / VALUE로 정형데이터를 만들어준다.

### 이름 : 김성태
### 키 : 185
### 몸무게 : 75

Elastic Search : 데이터를 찾기 쉽게 인덱싱 해주고, 저장한다.

Kibana : Elastic Search에 저장된 데이터들을 시각화 해준다.

 

---

※ Kafka

 

ELK 스택에서 많이 사용하는 메시지 분산 시스템

https://soft.plusblog.co.kr/3

[Kafka] #1 - 아파치 카프카(Apache Kafka)란 무엇인가?

 

 

• 특징

1. 메시지를 메모리가 아닌, 파일 시스템을 사용하여 저장함
   1-1) 파일시스템은 속도가 느리다는 단점이 있으나, H/W의 발달로 인한 속도 향상
   1-2) 메시지를 파일시스템으로 보관하여, 영속성을 지님.
   
   
2. 관리의 용이성
   2-1) 유동적인 트래픽 대처하기 좋고, 각 Beat에 들어가서 관리할 필요가 없다.
   2-2) 다중 Producer / Client 구조의 경우, 용도에 맞게 구분하여 필요로그만 사용