(1) ELK 풀 스택 구현해보기 - Filebeat

- 설치

https://www.elastic.co/kr/downloads/beats/filebeat

Download Filebeat • Lightweight Log Analysis | Elastic

---

- config 파일 수정하기 ( Input , Output )

1. 설치된 디렉토리에서 filebaet.yml 오픈
2. 어떤 로그파일을 수집할지, Input path 설정 및 활성화
   
   

ㅁ 원본

 

ㅁ 수정본 : ~Test에서 .txt 확장자로 끝나는 모든 파일 수집

 

3. 어떤 시스템으로 보낼지 ( Default : elastic Search )

 

ㅁ 원본

 

 

ㅁ 수정본 ( Elasticsearch로 바로보내지 않고, Logstash를 거쳐 파싱후에 보낸다 )

 

---

Filebeat 실행하기

filebeat.exe -e -c filebeat.yml

• 실행폴더 이동

명령프롬프트(cmd) 관리자 모드 실행 후 -> cd [Filebeat 설치 폴더]

• 실행 옵션
  • e : 명령프롬프트 창에 결과 및 log를 띄우며 실행
  • c : 해당 yml 파일의 config 적용하여 실행

 

---

테스트 결과

 

Input 에 설정된 Path에 .txt로 파일이 생성되자 Harvest 시작.

Harvest : 파일내에서 마지막으로 로그가 쓰여진 지점을 기록해두는것. 라인단위로 기록한다.

 

Hello.txt 파일에 하기와 같은 로그가 쌓여있다고 하자.
1
2
3
4 <<< 현재 Harvest 위치

여기에 5라는 로그가 한줄 추가될때 5라는 데이터값만 전달하고, Harvest 위치가 변경된다.
매번 전체 라인을 읽으면 성능 문제가 발생하기 때문

1
2
3
4
5 << 현재 Harvest 위치