데이터 · 보고 자동화
15분 걸리던 실적 집계를 1분으로, 비용은 10분의 1로
매일 보는 실적 집계가 15분씩 걸리고 원천 데이터와 어긋나도 아무도 모르던 문제를 저장 구조와 쿼리, 자동 알림으로 고쳤습니다.
루코 웍스 설립 전에 수행한 프로젝트입니다.
- 대상
- 항공·호텔 예약 플랫폼(OTA)
- 기간
- 2023.06 ~ 2025.01
- 역할
- 쿼리 튜닝, 배치 파이프라인, 대시보드, 비용 최적화
- 기술
- PySpark · Glue · Athena · Kafka · Druid · Superset · Airflow
15분 → 1분호텔 실적 마트 (월)
20분 → 10초Athena 로드 (500만 건)
90% 절감S3·Athena 비용
문제
- 01
호텔·항공 실적 1개월 집계에 각각 15분, 21분이 걸렸습니다.
- 02
하루 100만 건씩 쌓이는 작은 파일 때문에 저장·조회 비용이 커지고 로드에 20분이 걸렸습니다.
- 03
원천과 집계 매출이 어긋나도 아무도 몰랐고, 지표는 도구마다 흩어져 있었습니다.
결정
- 01
집계 테이블 구조를 다시 짜고 쿼리를 튜닝했습니다. 작은 파일은 주기적으로 합쳤습니다.
- 02
원천과 집계 매출이 다르면 Slack으로 바로 알리게 했습니다.
- 03
시트와 외부 데이터를 자동으로 적재하고, 지표 화면을 한곳으로 모았습니다.
결과
호텔 집계 15분 → 1분, 항공 집계 21분 → 3분.
500만 건 로드 20분 → 10초, 저장·조회 비용 90% 절감.
실적과 공헌이익을 한 화면에서 보는 집계 테이블이 생겼습니다.
TIP느린 보고서는 대개 계산보다 데이터를 쌓는 방식에서 막힙니다. 매일 손으로 만드는 엑셀 보고서를 자동화할 때도 먼저 원천 파일이 어떻게 쌓이는지부터 봅니다.
출처: 개발 포트폴리오, 공개 사례 문서