Notice
Recent Posts
Recent Comments
Link
목록데이터 처리 (1)
semtax의 개발 일지
통계값을 효율적으로 저장하기 : HdrHistogram
개요 이번 포스팅에서는, P95값이나 평균 값과 같은 통계 지표들을 효율적으로 저장할 수 있는 방법 중에 하나인 HdrHistogram에 대해 알아보도록 하겠다. P95와 평균을 저장하는 단순한 방법 우선 다음과 같은 상황을 가정해보자 만약 당신이, 모니터링 시스템을 만든다고 가정을 해보자. 이때, 수천~수억건의 응답시간 로그 데이터로 부터, 하위 5% 응답속도와 평균응답 속도를 계산해야 한다. 당신이라면 어떻게 하겠는가? 먼저, P95나 평균을 저장하는 단순한 방법은, 데이터를 계속 가지고 있다가 P95값이나 평균 값이 필요할때 마다, 또는 일정 주기마다 데이터들을 정렬해서 P95(하위 5% 값) 이나 평균값을 계산하는 방법이 있다. 하지만, 이러한 방법은 매번 데이터를 전..
개발/알고리즘
2020. 5. 16. 15:15