Yao Yue는 QCon San Francisco에서 진행한 발표에서 시스템 측정 데이터가 표시되는 방식을 재고하자고 제안한다. 대부분의 모니터링 대시보드에서 기본 형식이 된 선형 차트는 깨끗하고 연속적인 데이터에는 적합할 수 있지만, 시계열이 늘어나거나 노이즈가 커지거나 제기된 질문이 본질적으로 시간과 관련되지 않을 때는 유용성이 떨어진다.
Yue는 대규모 시스템 운영 경력 15년을 바탕으로 이야기한다. 그중 7년은 1차 지원 서비스의 온콜 근무로 보냈으며, Twitter에서 캐시 팀을 이끈 뒤 성능 팀을 설립한 경험도 있다. 2022년 11월 이후에는 IOP Systems를 공동 설립했으며, 이 회사는 지능형 성능 엔지니어링을 통해 소프트웨어 효율성과 신뢰성을 개선하는 일을 한다.
문제는 선 자체에 있지 않다
Yue는 선형 차트가 측정 지점만 표시하는 것이 아니라 각 연속된 두 지점 사이에 선을 그린다고 설명한다. 이는 데이터에 실제로 존재하지 않는 시각적 요소를 추가하는 것으로, Yue가 extrapolation, 즉 측정값 사이의 보간이라고 표현하는 과정이다. 데이터가 규칙적일 때는 유용할 수 있지만, 특히 그 사이에 무슨 일이 일어났는지 알 수 없는 지표에서는 직접적인 정보가 없는 두 측정값 사이에 경로가 존재한다는 인상을 줄 수 있다.
문제는 많은 인스턴스나 시계열을 포함하는 시스템에서 더욱 커진다. 많은 선과 색상은 모니터링 대시보드를 풍부하게 보이게 할 수 있지만, “처리량이 변했는가?” 또는 “새 배포로 눈에 띄는 성능 저하가 발생했는가?”와 같은 질문에 대한 답을 더 명확하게 만들어 주지는 않는다. 많은 경우 그래프를 해석할 수 있는 사람은 세부 사항을 오랫동안 들여다보는 숙련된 엔지니어뿐이며, Yue는 이런 방식이 신뢰할 수 있는 엔지니어링에 적합하지 않다고 본다.
측정의 특성에 따른 형식 선택
발표자는 데이터의 형태, 측정 유형, 팀이 데이터에서 무엇을 알고 싶어 하는지라는 세 가지 요소를 먼저 고려하자고 제안한다. 데이터가 복잡하게 얽혀 있을 때는 시간 창 내 평균을 사용하거나 최솟값·최댓값·평균을 계산해 노이즈를 줄이고 추세를 강조할 수 있다. 그러나 이러한 변환은 단순히 그래프를 보기 좋게 만드는 수단이 아니라 제기된 질문에 도움이 되어야 한다.
Yue는 데이터 요약이 중요한 차이를 숨길 수 있다고 경고한다. 그녀는 원시 값을 그래프로 표시했을 때 형태가 크게 다르더라도 평균과 표준편차가 같을 수 있는 “Datasaurus” 개념을 예로 든다. 따라서 어떤 경우에는 선 없이 점만 표시하는 편이 더 정직할 수 있다. 실제 측정값을 명확히 보여 주고 확실하지 않은 시각적 경로를 추가하지 않기 때문이다.
발표에 따르면 대부분의 측정 데이터는 카운터, 게이지, 히스토그램이라는 세 가지 주요 유형으로 나뉜다. 시간이 지남에 따라 증가하는 카운터에는 선형 표현이 적합할 수 있지만, 모니터링 애플리케이션에서 흔히 표시되는 것은 원시 카운터가 아니라 두 연속 값 사이의 차이, 예를 들어 요청률이나 오류율이다. Yue는 이 차이를 선분이나 막대로 표현하면 누적 변화와 변동성을 더 정확하게 보여 줄 수 있다고 본다.
게이지는 두 번의 측정 사이에 어떤 일이 있었는지를 보장하지 않는다. 두 측정값 사이에서 값이 오르거나 내려갔더라도 데이터에 나타나지 않을 수 있다. 따라서 발표자는 가능한 한 적은 보간으로 점을 있는 그대로 표시하는 방식을 선호한다. 응답 시간의 경우 단일 값만으로는 충분하지 않다고 강조한다. 응답 시간은 하나의 숫자가 아니라 분포를 나타내기 때문이다. 히스토그램은 이를 하나의 선으로 축약하는 대신 P99와 P99.9 같은 꼬리 정보를 보존하는 더 나은 방법이다.
실제로 무엇이 달라지는가?
발표의 핵심은 모든 선형 차트를 대체하자는 것이 아니라 시각화를 운영상의 질문과 연결하자는 데 있다. 질문이 부하가 서비스 수준 계약에 미치는 영향이라면, 500 또는 초당 5000건 요청과 같은 부하 범위별로 데이터를 그룹화한 뒤 응답 시간 분포와 연결할 수 있다. 그러면 부하가 정점에 도달한 순간을 찾기 위해 여러 날을 살펴보는 대신, 그래프가 부하와 응답 시간의 직접적인 관계를 보여 주게 된다.
마찬가지로 두 소프트웨어 버전을 비교할 때는 버전별로 측정값을 그룹화한 뒤 시간을 분석의 주된 축으로 삼지 않고 분포나 백분위수를 비교할 수 있다. 하드웨어 유형을 선택할 때는 성능 데이터를 인스턴스 유형과 가격 같은 다른 정보와 결합해 실제 규모 조정 결정에 중요한 요소를 비교하는 표를 만들 수 있다.
certi.news의 해석
이 관점은 시각적 디자인의 문제만큼이나 모니터링 도구의 구조적 제약도 드러낸다. 측정 데이터 저장 시스템은 일반적으로 한편으로는 지표 이름과 그 속성을, 다른 한편으로는 값과 타임스탬프를 중심으로 구축된다. 따라서 시간에 따른 값과 관련된 질의는 비교적 쉽지만, 응답 시간을 부하와 연결하거나 소프트웨어 버전별 성능을 비교하는 것처럼 한 지표의 값을 다른 지표의 값과 연결하는 일은 어렵다.
실무적으로 이는 모니터링 대시보드를 개선하는 일이 항상 새로운 색상이나 그래프를 선택하는 것에서 시작하지는 않는다는 뜻이다. 먼저 대시보드가 어떤 결정을 지원해야 하는지 정해야 한다. 팀은 데이터를 다시 그룹화하거나 시계열 데이터베이스 외부의 데이터 소스를 결합해야 할 수도 있다. 동시에 이 세션은 모든 사람에게 적용되는 단 하나의 해법을 제시하지 않는다. 측정의 유형과 형태, 제기된 질문이 가장 적합한 표현을 결정하며, 현재의 모든 모니터링 도구가 이러한 변환을 자동으로 제공한다는 점도 출처는 입증하지 않는다. 따라서 실험 가능성, 원시 데이터에 대한 접근, 각 요약 방식의 한계에 대한 이해는 신뢰성 및 성능 엔지니어링 팀 앞에 남아 있는 실무적 과제다.
뉴스 출처
InfoQ - Architecture Articles
원문 보기 ↗