메뉴 건너뛰기

7. 릴리즈와 시간의 흐름에 따른 모바일 메트릭을 관리하자


올바른 메트릭 관리하기


다양한 앱 사용자의 요구사항에 대응하는 성공적인 앱의 공통적인 요소는 바로 데이터를 지속적으로 측정하고 모니터링하는 데에 중점을 두고 있다는 것입니다. 성능메트릭에 집중한다는 것은 사용자 관점에서 앱을 이해하는 데에 도움이 됩니다.
 

7-1.png


사용자의 경험을 측정하기 위해 사용자의 요구사항을 반영한 메트릭을 나열해보겠습니다.


Avoid Failures
 전체 크래시율 <0.25%
 주요 Userflow (예: 로그인) 크래시율 < 0.25%


Prevent Frustration
 앱 로드타임 < 2초
 주요 Userflow < 2초
 Userflow내부의 의존 APIs < 1초 지연 < 0.25% 에러 율


Avert Annoyance
 Request volume과 Data in/out


그렇지만 메트릭을 식별하고 측정하는 것만으로는 부족합니다. 이러한 메트릭의 변화를 꾸준히 모니터링하는 것이 중요합니다. 특히 앱의 새로운 릴리즈 업데이트가 발생하거나 새로운 OS버전이 업데이트되는 등 주요 이벤트가 발생하는 동안은 더욱 더 중요합니다. 본 가이드에서는 몇 가지 Apteligent 대시보드를 활용하여 이러한 메트릭을 어떻게 꾸준히 모니터링 할지에 대해 살펴봅니다.


Apteligent Release Console을 활용하여 릴리즈 모니터링하기


새로운 앱이나 새로운 버전의 앱을 출시하는 순간은 앱의 성공에 가장 중요한 순간 중 하나입니다. 우리는 프로덕트 매니저와 엔지니어링 매니저들과 인터뷰하면서 릴리즈 이후 24시간에서 48시간 사이의 크래시율과 같은 주요 지표를 실시간으로 모니터링하는 것이 중요하다는 의견을 받았습니다.

Apteligent의 Release Console은 고객이 앱을 출시할 때 릴리즈의 성공을 확인하거나 이전 릴리즈로 롤백 또는 버그를 수정하기 위한 핫픽스를 릴리즈 할지 여부 등 다양한 의사결정을 도와주는 대시보드 입니다.


 7-2.png


새로운 앱 버전이 출시되면 그 전과 동일하게 Apteligent에서는 최신 버전을 자동으로 갱신합니다. 참고로 최신버전의 앱 버전은 설정 페이지에서 수동으로 지정할 수도 있습니다. Release Console을 확인하면 크래시율을 추적하여 앱의 최신 버전을 채택하여 유지할지 결정할 수 있습니다. 릴리즈 이후의 몇 시간동안의 크래시율은 릴리즈 안정을 가늠하는 중요한 지표가 됩니다. 최신 버전의 릴리즈의 크래시율이 기존 릴리즈보다 낮으면 릴리즈가 성공적으로 진행되고 있다는 것을 반증하는 것입니다. 대시보드에서 앱로드 및 액티브 유저 메트릭을 확인하여 최신 릴리즈의 채택을 결정합니다. 성공적인 릴리즈를 통해 사용자는 새로운 앱을 사용하게 됩니다.


Apteligent Crash Trends를 활용하여 시간의 흐름에 따른 주요 메트릭추이 파악하기


새로운 릴리즈가 발생했을 때의 모니터링 외에도 주요 사용자 환경 메트릭이 몇 주, 몇 개월 단위로 어떻게 변화하는 추세인지 파악하는 것은 매우 중요합니다. 프로덕트 매니저와 엔지니어링 매니저는 Crash Trends페이지에서 시간 흐름에 따른 앱의 사용자 경험을 볼 수 있습니다.

 

7-3.png


Crash Trends 페이지에서 가장 많이 활용되는 그래프는 앱 버전에 따른 크래시율 비교차트입니다. 앱의 각 버전별로 크래시율은 시간이 지남에 따라 떨어져야 하며, 이때 목표치는 0.25% 입니다.
크래시율을 정확히 모니터링하기 위해 차트위로 마우스를 대고 정확한 수치를 확인하고 alert 아이콘을 통해 새로운 알람을 만듭니다.


 7-4.png


Apteligent Userflows 를 사용하여 앱의 주요 Flow 모니터링하기


만일 전체 크래시율이 내려갔다고 하더라도 로그인 또는 체크아웃과 같은 주요 플로우에서의 실패가 발생한다면 중대한 비즈니스손실을 가져올 수 있습니다. Apteligent에서는 앱과 버전 별 userflow의 성공율을 측정합니다.

 

7-5.png


Userflow Summary 대시보드에서는 시간 별로 앱 버전 별 userflow 성공율을 모니터링합니다. 7일 또는 30일 간 필터를 걸고 주요 userflow에서는 0.25%이상의 실패율이 나타나지 않도록 주의합시다. App 버전필터를 걸어 최신 버전의 실패율 역시 0.25%이하로 유지할 수 있도록 확인합니다.


요약


좋은 앱을 만들고 유지하기 위해서는 매우 큰 노력과 시간이 필요합니다. 한번 릴리즈가 잘못되면, 5개의 별점이 순식간에 1개로 떨어지기도 합니다. 사용자 경험에 관한 메트릭을 항상 주의깊게 관찰하여 나쁜 사용자 경험을 주지 않도록 합니다. 특히 앱스토어에 릴리즈 하는 등 중요한 시점에서는 모니터링에 유의하십시오. Release Console을 통해 릴리즈의 성공여부와 픽스, 롤백을 결정하는 지표를 얻을 수 있습니다. Crash Trends페이지에서는 메트릭이 시간의 흐름에 따라 어떻게 변화하는지 확인할 수 있고 크래시율과 같은 주요 메트릭관련 알람을 만들어 이슈를 즉각 보고받을 수 있습니다. 마지막으로 Userflows Summary 페이지에서 사용자 경험에 대한 주요 메트릭을 모니터링합니다.

Who's NeO

ALM, SW 모델링, SW 정적분석, Devops 특히 CI/CD, APM을 통한 Shiftleft에 관심이 많습니다. 

차세대 APM Cisco AppDynamics와 모바일 앱 모니터링 VMware Apteligent를 소개합니다.

http://www.solulink.co.kr

Atachment
첨부 '5'
?

 


  1. 코드 인스펙션 룰을 작성하는 과정

    훌륭한 Code Inspection 도구가 많고, 도구의 완성도와 빌트인 룰의 효용성이 좋아지고 있지만 여전히 프로젝트에서는 커스텀 룰을 필요로 합니다. 이것은 시큐어코딩이나 보안감사, 데이터 관리평가와 같은 외적 요인에 의한 동기와, 코드의 가독성 향상, 유...
    Date2018.07.31 ByNeO Reply1 Views566
    Read More
  2. 버그는 줄이고 릴리즈는 빠르게 : APM이 Software Development Life Cycle을 개선하는 법

    요약 소프트웨어 개발 라이프사이클(SDLC)에 연관된 모든 사람들의 작업은 어플리케이션과 비즈니스 성능 정보를 쉽게 확보할 수 있도록 함으로써 개선될 수 있다.   시작하며 일련의 상호의존적 절차를 분리된 행동으로 ...
    Date2018.07.25 ByNeO Reply0 Views379
    Read More
  3. 2. Service Endpoint를 활용한 Database 성능 모니터링

    본 문서는 다음 문서를 번역한 글입니다. 총 2개의 글로 이루어진 이번 연재는 AppDynamics Global Services team의 John Aronson이 작성한 글로, Database 성능 개선을 위한 AppDynamics 활용법이 설명되어 있습니다. https://blog.appdynamics.com/p...
    Date2018.06.21 ByNeO Reply0 Views368
    Read More
  4. 1. Business Transaction을 통해 문제가 되는 Database Query 찾아내기

    본 문서는 다음 문서를 번역한 글입니다. 총 2개의 글로 이루어진 이번 연재는 AppDynamics Global Services team의 John Aronson이 작성한 글로, Database 성능 개선을 위한 AppDynamics 활용법이 설명되어 있습니다. 글이 조금 깁니다. https://blog...
    Date2018.05.02 ByNeO Reply0 Views442
    Read More
  5. DevOps 시작을 위한 가이드

    데브옵스(DevOps)의 인기는 몇 년동안 지속되고 있다. 데브옵스는 문화의 변화, 자동화, 변경 관리, 지속적인 배포 등을 설명하는데 사용된다. 본질적으로 데브옵스는 개발(Dev)팀과 운영(Ops)팀이 협업하여, 더 빠른고 신뢰성있는 릴리즈 파이프라인 구축하는...
    Date2018.04.13 ByTom Reply0 Views853
    Read More
  6. 7. 릴리즈와 시간의 흐름에 따른 모바일 메트릭을 관리하자

    7. 릴리즈와 시간의 흐름에 따른 모바일 메트릭을 관리하자 올바른 메트릭 관리하기 다양한 앱 사용자의 요구사항에 대응하는 성공적인 앱의 공통적인 요소는 바로 데이터를 지속적으로 측정하고 모니터링하는 데에 중점을 두고 있다는 것입니다. 성능메...
    Date2018.03.12 ByNeO Reply0 Views648
    Read More
  7. 6. 배터리 광탈과 데이터 과소비를 막자

    6. 배터리 광탈과 데이터 과소비를 막자 배터리 광탈이나 데이터 과소비는 사용자가 중요시 여기는 항목이지만, 앱을 제공하는 회사에서는 종종 잊어버리기 쉬운 메트릭입니다. 연구조사 업체인 IDC1의 조사에 따르면 대다수의 사용자들이 새로운 핸드폰을 ...
    Date2018.03.08 ByNeO Reply0 Views395
    Read More
  8. 5. 주요 Flow에서 네트워크 호출을 모니터링하자

    5. 주요 Flow에서 네트워크 호출을 모니터링하자 주요 Flow의 속도를 빠르게 하는 3가지 방법 1. 상위 3개의 인터랙션을 측정하라 앱의 속도를 빠르게 하기 위한 첫 걸음은 인터랙션을 완수하는 데 걸리는 시간을 측정하는 것입니다. Userflow 기...
    Date2018.03.06 ByNeO Reply0 Views397
    Read More
  9. 4. 인터랙션 타임을 최적화하여 사용자 경험을 개선하자

    4. 인터랙션 타임을 최적화하여 사용자 경험을 개선하자 우리 앱이 사용자를 당혹스럽게 만들고 있지는 않은지? App load time과 더불어 느린 트랜잭션은 사용자를 당혹스럽게 합니다. Jakob Nielsen의 UI디자인에 관한 powers of 10 연구결과에 의하...
    Date2018.02.27 ByNeO Reply0 Views358
    Read More
  10. 3. 앱 로드타임을 2초 내로 줄여 좋은 첫인상을 주자

    3. 앱 로드타임을 2초 내로 줄여 좋은 첫인상을 주자 크래시율과 더불어 app load time은 매우 중요한 지표입니다. App load time은 고객유치에 매우 밀접한 메트릭이자 모바일 앱에 접근하는 중요한 시간정보입니다. 연구에 따르면 app load time은 50%의 ...
    Date2018.02.19 ByNeO Reply0 Views454
    Read More
Board Pagination Prev 1 2 3 Next
/ 3