좋은 서비스를 만드는 것도 중요하지만
제대로 운영하는 것도 매우 중요하다.
서비스를 정상적으로 운영하기 위해서는
Observability가 중요하다.
Observability에 대해서 이해하기 쉽게 설명하기 위해서
Tracing, Monitoring과 함께 얘기하려고 한다.
Observability가 무엇일까
Tracing
- tracing은 프로그램 실행 과정들을 상세히 남기는 것이다.
- 옛날부터 APM(Application Performance Monitoring) 분야에서 많이 활용해왔다.
- 하나의 서비스를 위해 많은 인프라와 app이 상호작용을 하기 때문에 Distributed tracing이 중요해지고 있다.
- 대표적인 Distributed tracing 오픈 소스로는 Zipkin과 Jaeger가 있다.
Monitoring
- 비정상 상태나 에러 등을 감지하기 위해 이벤트, 메트릭과 같은 정보들을 남기고 추적하는 것을 말한다.
- 크게 메트릭 모니터링과 로그 모니터링으로 나눌 수 있다.
- Metric Monitoring
- 특정 기간이나 범위의 성공/실패 상태를 모니터링
- 목표치 대비 성능의 상태나 관계를 모니터링
- 예) memory use, requests per second, active connections, flow, number of errors
- Log Monitoring
- 관심 있는 이벤트 데이터를 남기고 내용을 살피는 방식
- 이벤트 데이터 분석
- filter -> aggregation -> metric
- 텍스트 검색, 필터 검색
Observability
- 쌓여있는 데이터를 연결하고 추런해서 굳이 시스템 내부에 들어가지 않아도 확인 가능
- HW, OS, SW, Cloud 등 모든 데이터를 활용해서 app 상태부터 시스템 전체의 상태를 확인, 이상감지, 원인 추론까지 포괄하는 개념
- Observability를 위해 3가지 성격의 데이터가 필요
- Trace : 어떤 데이터가 빠졌는 지 등 확인을 위한 데이터 흐름에 대한 정보를 파악하기 위한 데이터
- Log : 이벤트 정보
- Metric : 무엇이 비정상 상태인지 기준을 정하기 위한 일정기간 걸쳐 측정된 데이터
대표적인 Observability 도구들
Opentelemetry
- 오픈소스로 만들어지는 통합 observability 스택
- Tracing, Log, Metric 수집해서 통합된 모니터링, 분석 환경 제공
- 다양한 언어, 인프라 활용가능
- 전용 OTLP(OpenTelemetry Protocol)프로토콜을 정의, 여기에 맞춰 직접 agent, collector 등 구현 가능
- 중견기업 이상의 회사가 전문팀으로 전사적인 통합 observability 환경을 구축하고자 할 때 좋은 선택
Datadog
- Cloud에서 운영되는 Observability
- 클라우드 서비스와 integration이 쉬우며 사용하기도 쉽다.
- 웹, 앱, 백엔드 모두 통합해서 모니터링하고 병목, 장애지점 진단할 수 있다.
Dynatrace
- APM분야부터 시작한 회사
- Java Tracing 도구들의 기능이 상세하고 성능이 좋다.
- datadog처럼 full stack observability를 제공
모니터링 해야할 대상
1. host machine
- 기본적으로 해당 컴퓨터의 상태를 모니터링 할 수 있어야 한다.
- running 여부
- CPU & Memory & Disk usage
- Network I/O (IOPS)
2. OS 상태
- 운영체제로부터 자원을 할당받기에 프로세스들의 자원을 확인해줘야 한다.
특히 데이터 엔지니어는 분산시스템을 많이 사용하고 대용량 처리를 위해 리소스 매니저 등을 사용하기 때문에 OS 상태지표에 대한 관심이 필요하다.
- FD count
- socket status & count
- cpu, memory, disk per cgroup
- cgroup : Control group으로 단일 또는 task 단위의 프로세스 그룹에 자원 할당을 제어하는 커널 모듈
3. Process/Application 상태
- 자신이 개발한 프로세스의 상태를 확인할 수 있어야 한다.
- trace, log, metric 포함
- cpu, memory, disk usage of process
- open FD count in process
- 사용하는 프레임워크 레벨에서 진단이 필요한 정보
- 내 어플리케이션의 로직이나 상태를 확인하기 위한 정보
4. Infra 환경 정보
- 분산 리소스 매니저를 사용한다면 자신의 어플리케이션은 해당 인프라에 종속되기 때문에
해당 인프라 환경을 확인할 수 있어야 한다.
- 기본적으로 해당 시스템이 내 프로그램에 할당한 id 정보는 필수로 같이 남아야한다.
