Grafana 대시보드 구축
메트릭 수집은 Observability의 절반에 불과하다. 나머지 절반은 시각화다. 데이터가 쌓여도 볼 수 없으면 의미가 없다.
LGTM 스택을 구축했지만 대시보드가 없었다. 커뮤니티 대시보드를 import 해봤지만 우리 환경과 맞지 않았다. 결국 운영 관점에서 필요한 대시보드를 직접 설계하고 구축했다. GitOps로 대시보드를 관리하는 방식도 함께 정리한다.
운영 관점에서 세 가지가 필요했다.
- 인프라 대시보드: 클러스터 전체 상태, 노드 헬스, 리소스 사용량
- APM 대시보드: 서비스별 요청량, 에러율, 레이턴시
- 파이프라인 대시보드: LGTM 스택 자체의 헬스 체크
Datadog을 쓸 때는 기본 제공되던 것들이다. LGTM 스택에서는 직접 구성해야 한다.