아무거나 시도해보는 개발일지

설치

https://www.elastic.co/kr/downloads/logstash

해당 페이지에서는 연결만 테스트하기 때문에, 변경할 부분이없다.

ㅁ 기본

Input : Beats Port ( 5044 ) Output : Elastic Search ( 9200 )

ㅁ 실행방법

(설치폴더 bin)/logstash -f (설치폴더 conf)/logstash-sample.conf --config.reload.automatic

-f (path) 옵션 : config 파일위치 수동으로 지정
-config.reload.automatic 옵션 : 컨피그파일이 수정될때마다 자동으로 반영

Filebeat → 연결테스트

1. Output 을 CMD 창에 나타내도록 변경한다.

2. *.txt 파일에 데이터 입력시, Logstash로 전달되는지 확인

- 설치

https://www.elastic.co/kr/downloads/beats/filebeat

- config 파일 수정하기 ( Input , Output )

1. 설치된 디렉토리에서 filebaet.yml 오픈
2. 어떤 로그파일을 수집할지, Input path 설정 및 활성화
   
   

ㅁ 원본

ㅁ 수정본 : ~Test에서 .txt 확장자로 끝나는 모든 파일 수집

3. 어떤 시스템으로 보낼지 ( Default : elastic Search )

ㅁ 원본

ㅁ 수정본 ( Elasticsearch로 바로보내지 않고, Logstash를 거쳐 파싱후에 보낸다 )

Filebeat 실행하기

filebeat.exe -e -c filebeat.yml

• 실행폴더 이동

명령프롬프트(cmd) 관리자 모드 실행 후 -> cd [Filebeat 설치 폴더]

• 실행 옵션
  • e : 명령프롬프트 창에 결과 및 log를 띄우며 실행
  • c : 해당 yml 파일의 config 적용하여 실행

테스트 결과

Input 에 설정된 Path에 .txt로 파일이 생성되자 Harvest 시작.

Harvest : 파일내에서 마지막으로 로그가 쓰여진 지점을 기록해두는것. 라인단위로 기록한다.

Hello.txt 파일에 하기와 같은 로그가 쌓여있다고 하자.
1
2
3
4 <<< 현재 Harvest 위치

여기에 5라는 로그가 한줄 추가될때 5라는 데이터값만 전달하고, Harvest 위치가 변경된다.
매번 전체 라인을 읽으면 성능 문제가 발생하기 때문

1
2
3
4
5 << 현재 Harvest 위치

아래 3가지 데이터 분석 Prcoess의 약어.

여기에 데이터를 수집하는 beats 까지 합쳐, ELK Stack이라 부른다.

• Elastic Search
• Logstash
• Kibana

각 단계별 역할

beats : 데이터를 수집하는 역할.

         네트워크 패킷, 윈도우 이벤트, 로그 파일 등 다양한 데이터 수집가능

         ※ 해당 페이지에서는 로그 파일을 수집하는 Filebeat를 사용할 예정

logstash : 데이터 정제 , 가공

              beats로 부터 수집된, 다양한 데이터들에 의미를 부여한다.

김성태 / 185cm / 75kg 라는 데이터가 있다면

아래와 같이 KEY / VALUE로 정형데이터를 만들어준다.

### 이름 : 김성태
### 키 : 185
### 몸무게 : 75

Elastic Search : 데이터를 찾기 쉽게 인덱싱 해주고, 저장한다.

Kibana : Elastic Search에 저장된 데이터들을 시각화 해준다.

※ Kafka

ELK 스택에서 많이 사용하는 메시지 분산 시스템

https://soft.plusblog.co.kr/3

• 특징

1. 메시지를 메모리가 아닌, 파일 시스템을 사용하여 저장함
   1-1) 파일시스템은 속도가 느리다는 단점이 있으나, H/W의 발달로 인한 속도 향상
   1-2) 메시지를 파일시스템으로 보관하여, 영속성을 지님.
   
   
2. 관리의 용이성
   2-1) 유동적인 트래픽 대처하기 좋고, 각 Beat에 들어가서 관리할 필요가 없다.
   2-2) 다중 Producer / Client 구조의 경우, 용도에 맞게 구분하여 필요로그만 사용