7. 릴리즈와 시간의 흐름에 따른 모바일 메트릭을 관리하자

by NeO posted Mar 12, 2018
?

단축키

Prev이전 문서

Next다음 문서

ESC닫기

크게 작게 위로 아래로 댓글로 가기 인쇄

7. 릴리즈와 시간의 흐름에 따른 모바일 메트릭을 관리하자


올바른 메트릭 관리하기


다양한 앱 사용자의 요구사항에 대응하는 성공적인 앱의 공통적인 요소는 바로 데이터를 지속적으로 측정하고 모니터링하는 데에 중점을 두고 있다는 것입니다. 성능메트릭에 집중한다는 것은 사용자 관점에서 앱을 이해하는 데에 도움이 됩니다.
 

7-1.png


사용자의 경험을 측정하기 위해 사용자의 요구사항을 반영한 메트릭을 나열해보겠습니다.


Avoid Failures
 전체 크래시율 <0.25%
 주요 Userflow (예: 로그인) 크래시율 < 0.25%


Prevent Frustration
 앱 로드타임 < 2초
 주요 Userflow < 2초
 Userflow내부의 의존 APIs < 1초 지연 < 0.25% 에러 율


Avert Annoyance
 Request volume과 Data in/out


그렇지만 메트릭을 식별하고 측정하는 것만으로는 부족합니다. 이러한 메트릭의 변화를 꾸준히 모니터링하는 것이 중요합니다. 특히 앱의 새로운 릴리즈 업데이트가 발생하거나 새로운 OS버전이 업데이트되는 등 주요 이벤트가 발생하는 동안은 더욱 더 중요합니다. 본 가이드에서는 몇 가지 Apteligent 대시보드를 활용하여 이러한 메트릭을 어떻게 꾸준히 모니터링 할지에 대해 살펴봅니다.


Apteligent Release Console을 활용하여 릴리즈 모니터링하기


새로운 앱이나 새로운 버전의 앱을 출시하는 순간은 앱의 성공에 가장 중요한 순간 중 하나입니다. 우리는 프로덕트 매니저와 엔지니어링 매니저들과 인터뷰하면서 릴리즈 이후 24시간에서 48시간 사이의 크래시율과 같은 주요 지표를 실시간으로 모니터링하는 것이 중요하다는 의견을 받았습니다.

Apteligent의 Release Console은 고객이 앱을 출시할 때 릴리즈의 성공을 확인하거나 이전 릴리즈로 롤백 또는 버그를 수정하기 위한 핫픽스를 릴리즈 할지 여부 등 다양한 의사결정을 도와주는 대시보드 입니다.


 7-2.png


새로운 앱 버전이 출시되면 그 전과 동일하게 Apteligent에서는 최신 버전을 자동으로 갱신합니다. 참고로 최신버전의 앱 버전은 설정 페이지에서 수동으로 지정할 수도 있습니다. Release Console을 확인하면 크래시율을 추적하여 앱의 최신 버전을 채택하여 유지할지 결정할 수 있습니다. 릴리즈 이후의 몇 시간동안의 크래시율은 릴리즈 안정을 가늠하는 중요한 지표가 됩니다. 최신 버전의 릴리즈의 크래시율이 기존 릴리즈보다 낮으면 릴리즈가 성공적으로 진행되고 있다는 것을 반증하는 것입니다. 대시보드에서 앱로드 및 액티브 유저 메트릭을 확인하여 최신 릴리즈의 채택을 결정합니다. 성공적인 릴리즈를 통해 사용자는 새로운 앱을 사용하게 됩니다.


Apteligent Crash Trends를 활용하여 시간의 흐름에 따른 주요 메트릭추이 파악하기


새로운 릴리즈가 발생했을 때의 모니터링 외에도 주요 사용자 환경 메트릭이 몇 주, 몇 개월 단위로 어떻게 변화하는 추세인지 파악하는 것은 매우 중요합니다. 프로덕트 매니저와 엔지니어링 매니저는 Crash Trends페이지에서 시간 흐름에 따른 앱의 사용자 경험을 볼 수 있습니다.

 

7-3.png


Crash Trends 페이지에서 가장 많이 활용되는 그래프는 앱 버전에 따른 크래시율 비교차트입니다. 앱의 각 버전별로 크래시율은 시간이 지남에 따라 떨어져야 하며, 이때 목표치는 0.25% 입니다.
크래시율을 정확히 모니터링하기 위해 차트위로 마우스를 대고 정확한 수치를 확인하고 alert 아이콘을 통해 새로운 알람을 만듭니다.


 7-4.png


Apteligent Userflows 를 사용하여 앱의 주요 Flow 모니터링하기


만일 전체 크래시율이 내려갔다고 하더라도 로그인 또는 체크아웃과 같은 주요 플로우에서의 실패가 발생한다면 중대한 비즈니스손실을 가져올 수 있습니다. Apteligent에서는 앱과 버전 별 userflow의 성공율을 측정합니다.

 

7-5.png


Userflow Summary 대시보드에서는 시간 별로 앱 버전 별 userflow 성공율을 모니터링합니다. 7일 또는 30일 간 필터를 걸고 주요 userflow에서는 0.25%이상의 실패율이 나타나지 않도록 주의합시다. App 버전필터를 걸어 최신 버전의 실패율 역시 0.25%이하로 유지할 수 있도록 확인합니다.


요약


좋은 앱을 만들고 유지하기 위해서는 매우 큰 노력과 시간이 필요합니다. 한번 릴리즈가 잘못되면, 5개의 별점이 순식간에 1개로 떨어지기도 합니다. 사용자 경험에 관한 메트릭을 항상 주의깊게 관찰하여 나쁜 사용자 경험을 주지 않도록 합니다. 특히 앱스토어에 릴리즈 하는 등 중요한 시점에서는 모니터링에 유의하십시오. Release Console을 통해 릴리즈의 성공여부와 픽스, 롤백을 결정하는 지표를 얻을 수 있습니다. Crash Trends페이지에서는 메트릭이 시간의 흐름에 따라 어떻게 변화하는지 확인할 수 있고 크래시율과 같은 주요 메트릭관련 알람을 만들어 이슈를 즉각 보고받을 수 있습니다. 마지막으로 Userflows Summary 페이지에서 사용자 경험에 대한 주요 메트릭을 모니터링합니다.

Who's NeO

ALM, SW 모델링, SW 정적분석, Devops 특히 CI/CD, APM을 통한 Shiftleft에 관심이 많습니다. 

차세대 APM Cisco AppDynamics와 모바일 앱 모니터링 VMware Apteligent를 소개합니다.

http://www.solulink.co.kr