기존에 사용하던 데이터 수집기, '트레저데이터' 의 비용 증가로 다른 방안을 모색하게 됐다.
기존의 워크플로우를 보자면,
서버 어플리케이션 사용자 이벤트가 발생하면
-> td-logger (트레저데이터 SDK) 라이브러리를 통해
-> 트레저데이터의 테이블에 기록
-> 쿼리 끝!
이 간단한 프로세스를 다음처럼 바꿔야 한다.
서버 어플리케이션 사용자 이벤트가 발생하면
-> fluent-logger 를 통해
-> fluentd 서버로 메시지 전달
-> 수집된 로그를 가공하여 S3 로 전달
-> AWS Athena 에서 S3 데이터 쿼리.
중간에 fluentd 서버도 구축해야 하고, fluentd 서버에서 S3 로 데이터 전송하는 스케줄도 설정해야 하고, Athena 테이블도 생성해야 하고...
이러면 EC2 + query 비용으로 절감하는 장점이 있고, 단점은 내가 매우 피곤해지고 장애 발생시 책임은...
비용 절감 치고는 할게 너무 많다 ㅡ.ㅡ;;
이 모든 원흉이 Athena 출시 때문!
WRITTEN BY
- 손가락귀신
정신 못차리면, 벌 받는다.
,
