안녕하세요. 오늘은 제가 근무중인 리멤버에서의 경험을 공유드리려고 합니다.

명함관리 서비스로 시작해 구인구직 서비스와 직장인 커뮤니티 서비스, 데일리 뉴스 콘텐츠까지 직장인을 위한 다양한 서비스를 리멤버에서 제공해왔는데요. 이 모든 서비스를 한 화면에서 경험할 수 있는 새로운 화면을 신설하기에 앞서 사용성 테스트(Usability Test)를 진행했었어요. 새로운 피쳐가 배포되기 이전에 사용성 테스트를 진행하며 경험한 UT 설계와 모더레이팅 과정에서 느낀 인사이트를 공유드릴게요.

UT(사용성 테스트)는 언제 진행하나요?

UT 즉 사용성 테스트는 신규 기능을 기획하는 단계 또는 신규 기능을 론칭하기 전 실제 리멤버 사용자에게 보여드리면서 우리 생각대로 사용하시는지, 문제점은 없는지 검증하기 위해 진행합니다.

특히 이번처럼 첫 화면을 신규로 만드는 경우는, 기존 대비 사용자가 불편하게 느끼시는 부분은 없는지 사전에 확인하는 것이 매우 중요했어요.

UT 설계

UT는 ‘설계가 80%다.’라는 생각이 들 정도로 설계 과정이 매우 중요하다고 생각해요.

UT 대상자는 누구를 어떤 과정으로 모집할 것인지, 인터뷰는 온라인으로 할 것인지, 오프라인으로 할 것인지, 인터뷰 관찰자는 어떤 방식으로 참여할지 등등 준비할 것이 생각보다 많았습니다.

그럼 어떤 순서와 과정을 거쳐 UT 설계를 했었는지 알려드릴게요.

01. 인터뷰 대상자 선정

사용자 행위에 영향을 미치는 조건을 리스트업 합니다.

• 우리 서비스를 사용한 기간이 얼마나 되었는지

• 그중 어떤 서비스를 중점적으로 사용하는지

• 우리 서비스를 방문하는 주기는 어떻게 되는지

• IT 기기 조작이 익숙한 사람인지

조건에 따라 사용자군을 나누기도 하고 하나의 사용자군을 대상으로 인터뷰를 진행할 수 있습니다.

이번 인터뷰에서는 사용자 행위에 따라 군을 나누어, 총 4개의 사용자군을 대상으로 인터뷰를 진행했어요.

02. 인터뷰 대상 리크루팅

우리가 선정한 대상자들에게 인터뷰 정보를 안내하고 모집합니다.

인터뷰 환경 안내 : 온라인인지 오프라인인지

• 일정 스케줄링 : 가능한 날짜와 시간을 모두 받은 뒤 스케줄 조정 후 안내

• 인터뷰 동의 항목 안내 및 동의 받기

• 인터뷰 사례금 안내

인터뷰 모집에 응답을 주신 분들 중에서 직무나 추가 조건 및 다양성을 고려하여 인터뷰 대상자를 선정했습니다.

03. 역할 분담

이번 인터뷰는 신규 피처를 함께 기획했던 PO와 PD가 협업하여 진행했으며 아래의 역할을 나눠 UT를 준비했습니다.

• 인터뷰 설계 및 모더레이팅

• 인터뷰 대상자 리쿠르팅 및 사례금 지급 담당자

• 서기, 관찰자

04. Task 작성

사용성 테스트를 통해 확인하고 싶은 내용을 중심으로 Task를 설계하고 성공 기준과 실패 기준을 정합니다.

신규 화면에서도 기존에 자주 사용하던 기능을 빠르게 찾을 수 있는지, 몰랐던 기능들을 어떻게 인지하고 사용하게 되는지 등 검증하고 싶은 내용을 플로우 별로 나누고 Task와 질문을 작성했습니다.

실제 인터뷰에서는 사용자군에 따라 Task의 순서를 변경하고 자연스러운 진행을 위해 사용자에게 몰입할 수 있는 시나리오와 함께 Task를 안내했습니다.

05. 프로토타입 준비

인터뷰에서 검증하고 싶은 가설을 확인할 수 있는 형태로 프로토타입을 준비합니다. 참고로 모든 기능이 동작하지 않아도 됩니다. 이번에는 인터뷰 대상 사용자군 별로 Task를 진행할 수 있는 프로토타입을 준비하고, Task 내용에 따라 프로토타입 접속 계정도 다르게 세팅하여 인터뷰 대상자에게 제공했습니다.

06. 리허설 진행

실제 환경과 동일한 환경을 조성하고 사내에서 인터뷰 대상자를 1명을 선정하여 진행했습니다.

이때 관찰자로 디자인팀 동료들을 초대하여 인터뷰 과정을 지켜보고 이후 피드백을 받았습니다. 피드백을 바탕으로 인터뷰 대본 수정과 Task의 추가 질문들을 수정하여 실제 인터뷰를 진행하게 되었습니다.

실제 인터뷰를 진행하기 전 리허설 인터뷰는 필수로 진행하는 것을 추천해요. 예상하지 못한 현장에서의 변수들을 확인할 수 있고, 제3자의 입장에서 인터뷰 질문에 대한 피드백을 받을 수 있어 현장에서 당황하지 않을 수 있었습니다.

07. 인터뷰 환경 세팅

이번 UT는 사용자가 직접 인터뷰 장소로 방문하는 오프라인 대면 인터뷰로 진행했어요. 오프라인 대면 인터뷰를 위한 환경 세팅은 다음과 같았습니다.

• 미팅룸 세팅

• 인터뷰 대상자의 행동을 관찰할 수 있도록 촬영용 카메라 세팅

• 인터뷰 대상자가 어떤 플로우로 Task를 진행하는지 확인할 수 있도록 테스트 기기의 화면 공유 세팅

• 진행자가 질문을 볼 수 있고, 서기가 답변을 작성할 수 있으며 관찰자가 메모를 할 수 있는 인터뷰 대상자의 정보가 포함된 질문지 준비

인터뷰를 진행하는 모더레이터와 서기는 오프라인 미팅룸에 인터뷰 대상자와 직접 대면하여 질문을 하며 메모를 작성하고, 관찰자는 구글 밋을 통해 공유되는 화면으로 인터뷰 과정을 관찰했습니다. 관찰자 입장에서도 중간중간 궁금한 점이 있으면 공유된 시트에 추가 질문을 작성할 수 있도록 해서 모더레이터가 질문들을 확인 할 수 있도록 준비했습니다.

UT 진행

저는 이번 사용성 테스트에서 UT 설계와 모더레이팅을 담당했어요. UT를 진행하는 모더레이터 입장에서 인터뷰를 어떻게 진행하고 이 과정에서 유의해야 할 부분들을 알려드릴게요.

01. 인터뷰 안내 및 사전 질문

사전에 미리 인터뷰 방식에 대해 안내하지만 인터뷰를 시작 전 대상자에게 인터뷰 과정에 대해 한번 더 안내합니다. 또한 현장에서 궁금해하실 수 있는 촬영에 대한 부분과 관찰자가 어떤 방식으로 어떻게 참여하는지에 대해서도 안내를 합니다.

• 지금 진행되는 인터뷰가 어떤 방식으로 진행되는지

• 촬영 동의 받기 및 관찰자 존재 안내

• 인터뷰 시작 전 스몰토크를 진행하여, 인터뷰 대상자의 배경과 상황을 파악하고 라포(rapport)를 형성

인터뷰 시작 전 스몰토크를 하며 어떻게 인터뷰에 참여하게 되었는지 우리 서비스에 대해 평소에 어떻게 생각하고 사용하셨는지 대해 이야기를 나누기도 했습니다. 짧은 대화지만 우리가 의도한 리크루팅 대상자가 맞는지 스크리닝이 가능하고, 미리 준비해둔 Task와 질문을 가감하는 판단을 할 수 있습니다.

02. 인터뷰 진행

• 충분히 관찰하기
  참여자마다 Task를 수행하는 시간이 다를 수 있기 때문에 모더레이터는 충분히 인터뷰 대상자가 Task를 수행하도록 기다립니다. 이 과정에서 서기는 사용자가 Task를 수행하는데 시간이 얼마나 걸렸는지, 어떤 부분에서 머뭇거리는지 어떤 과정을 거쳐 Task를 수행하는지 수행하는 과정에서 어떤 질문을 하는지 등등 모든 과정을 꼼꼼하게 관찰하고 기록합니다. 모더레이터는 실시간으로 서기가 기록하는 내용을 보면서 다음에 어떤 질문을 할지 미리 준비합니다.

  
  

• 질문하기
  수행 과정에서 발견된 부분을 중심으로 행동에 대한 이유를 묻습니다. 이때 유도 질문을 하지 않도록 주의합니다. 실제 인터뷰를 진행할 때는 이 점에 유의해서 사용자가 직접 자신의 행동 이유나 감정 느낀 점을 설명할 수 있는 질문을 중점적으로 했습니다.

  이때 준비된 질문 외에도 관찰자가 추가로 요청하는 질문을 물어보기도 합니다.

  
  

• 대답하기
  인터뷰를 진행하다 보면 인터뷰 참가자가 제품에 대한 질문을 하기도 합니다. 이때는 바로 답변을 하기보다 ‘왜’ 그런 질문을 하게 되었는지 역으로 질문하여 사용자가 진짜 하고 싶은 이야기가 무엇인지 파악하려 했습니다. 충분히 의중을 파악한 후에 사용자가 궁금해했던 질문에 답변을 하거나 인터뷰가 완전히 끝난 뒤에 답변을 드리기도 했습니다.

03. 인터뷰 종료

준비된 Task를 진행하며 인터뷰가 충분히 진행이 되었다고 판단되면 인터뷰 대상자에게 종료 안내를 합니다. 이때 인터뷰 내용은 어떻게 보관되고 관리되는지, 사례금은 어떤 방식으로 전달되는지 한 번 더 안내를 드립니다.

04. 인터뷰 종료 후

인터뷰 종료 직후 모더레이터와 서기는 방금 진행된 인터뷰에 대해 정리하는 시간을 가집니다. 인터뷰 과정에서 부족한 부분이나 개선점은 없었는지 이야기하고 이후 진행되는 인터뷰에서 참고할 부분들을 확인합니다. 시간 여유가 있다면 실시간으로 작성했던 인터뷰 내용을 정리하기도 합니다.

UT 분석 및 인사이트 도출

인터뷰 종료 후 녹화본과 작성했던 관찰 문서를 토대로 UT 내용을 분석합니다.

• Task 달성 결과 지표 분석
  각 Task 별로 사전에 정의한 성공 지표를 기준으로 인터뷰 대상자들이 얼마나 성공했는지, 공통적으로 보인 행동은 어떠했는지 내용을 작성하고 분석합니다.

  
  

• Key Findings
  관찰 문서를 토대로 공통적으로 발견된 현상들을 정리합니다.

  
  

• 인사이트 도출
  위의 내용들을 조합하여 현재 피처에서 유지하는 부분과 개선이 필요한 부분들을 파악합니다.

UT 이후 어떤 부분이 개선되었을까요?

UT를 통해 변경된 대표적인 예는 '오늘의 소식' 영역입니다.

저희는 매일 사용자가 가장 먼저 확인해야 할 소식을 가장 잘 보이는 곳에 안내함으로써 빠르게 소식을 확인하고 상세 내용에 접근할 수 있도록 의도했지만 실제 UT에서는 사용자가 해당 영역 자체를 인지하지 못하거나 광고로 인지하는 경우가 많았습니다.

이후 기존안과 해당 영역을 다른 콘텐츠와 동일한 형태로 제공하는 안을 비교하는 A/B 테스트를 진행했습니다. 기존의 상단 영역에서 안내할 때보다 콘텐츠 형태로 제공했을 때 60% 더 많은 전환율(노출 고객 대비 클릭 률)이 일어나는 것을 확인하고 개선안을 100% 배포하는 결정을 할 수 있었습니다.

글을 마치며

UX리서처없이 리멤버 프로덕트 디자이너는 어떻게 사용자 테스트를 하는지 소개했어요. 리멤버에서는 UT뿐만 아니라 설문조사, 인터뷰, A/B 테스트 등 다양한 리서치를 진행하며 사용자를 좀 더 이해하고 사용자를 위한 의사결정을 하기 위한 노력들을 하고 있어요. 앞으로도 더 많은 사용자의 피드백을 통해 발전하는 리멤버를 기대해 주세요.

(*이 글은 리멤버 기술 블로그에서도 보실 수 있습니다)