빅데이터 수집기

기존에 사용하던 데이터 수집기, '트레저데이터' 의 비용 증가로 다른 방안을 모색하게 됐다.

기존의 워크플로우를 보자면,

서버 어플리케이션 사용자 이벤트가 발생하면

-> td-logger (트레저데이터 SDK) 라이브러리를 통해

-> 트레저데이터의 테이블에 기록

-> 쿼리 끝!

이 간단한 프로세스를 다음처럼 바꿔야 한다.

서버 어플리케이션 사용자 이벤트가 발생하면

-> fluent-logger 를 통해

-> fluentd 서버로 메시지 전달

-> 수집된 로그를 가공하여 S3 로 전달

-> AWS Athena 에서 S3 데이터 쿼리.

중간에 fluentd 서버도 구축해야 하고, fluentd 서버에서 S3 로 데이터 전송하는 스케줄도 설정해야 하고, Athena 테이블도 생성해야 하고...

이러면 EC2 + query 비용으로 절감하는 장점이 있고, 단점은 내가 매우 피곤해지고 장애 발생시 책임은...

비용 절감 치고는 할게 너무 많다 ㅡ.ㅡ;;

이 모든 원흉이 Athena 출시 때문!