어떤 UX 리서치 방법론을 사용해야 하는가?

 

 

요약 : 현대의 UX 리서치 방법론은 광범위한 질문에 답할 수 있다. 어떤 사용자 리서치 방법론을 언제 사용해야하는지 알 수 있는 방법은, 일반적인 제품 개발 프로세스에서 20가지 방법론을 각각 제시한 도표에 그려보고 이를 적용해보는 것이다.

 

by Christian Rohrer on October 12, 2014

주제 : 연구 방법, 전략, 사용자 테스트

 

---

 

UX 디자인에는, 다양한 리서치 방법론들이 있다. 랩베이스 사용성 테스트lab-based usability studies 같은 유효성 증명방법론tried-and-true methods 부터, 온라인 UX 평가와 같이 최근에 개발된 방법들까지 다양한 종류가 있다.

주어진 프로젝트에 모든 방법론을 적용하는 것은 현실적이지 않지만, 대부분의 프로젝트는 다양한 리서치 방법론을 적용함으로써 통합적 인사이트를 얻을 수 있다. 하지만, 많은 UX디자인팀이 자신들에게 익숙한 한두 개의 방법론만을 사용하고 있다. 언제 어떠한 방법론을 사용해야 하는가에 대해 이해하기 위해서는, 다음에서 제시하는 축을 이용하여 도표를 그려보는 것이 도움이 될 것이다.

 

      - 사고적attitudinal vs 행동적behavioral

      - 정량적qualitative vs 정성적quantitative

      - 사용 흐름context of use

 

다음차트는 대표적인 20까지 방법론을 앞서 말한 도표에 적용한 것이다.

 

 

사고적Attitudinal vs 행동적Behavioral

 

가장 크게 구분 될 수 있는 점은 “사람들이 무엇을 말하는가” 대 “사람들이 무엇을 하는가”이다. (두 가지는 다른 경우가 꽤 많다.) 사고적 리서치의 목적은 주로 사람들의 믿음을 이해하거나 측정하는 것이다.

대부분의 사용성 테스트가 행동적인 것에 비중이 크긴 하지만, 자기보고 정보self-reported information를 사용하는 방법론은 여전히 디자이너들에게 꽤 유용하다. 예를 들어, 카드 분류 card sorting는 정보에 대한 유저의 멘탈 모델에 관한 인사이트를 제공한다. 또한 제품(또는 어플리케이션, 웹사이트)을 위해 어떤 것이 가장 좋은 정보 구조인지를 결정하는데 도움을 준다. 설문조사는 사고를 측정하고 카테고리화 한다. 그리고, 중요한 이슈사항을 발견하거나 추적하는데 도움을 줄 수 있는 자기 보고 정보 데이터self-reported data 를 모을 수 있다. 포커스 그룹 테스트는 사용성 테스트 목적으로는 유용하지 않을 수 있으나, 브랜드나 제품 컨셉에 대해 가장먼저 떠오르는 생각이 어떤 것 인지에 이해하는 데는 도움이 될 수 있다.

반대로, 대부분 행동적인 것에 포커스를 맞춘 방법론들은 제품이나 서비스에 대한 질문에 대해 “사람들이 무엇을 하는가”를 이해하기 위한 것이다. 예를 들어, A/B 테스트는 사이트 방문자들에게 랜덤 하게 다른 디자인 샘플을 보여준다. 이는 서로 다른 디자인이 사람들의 행동에 어떠한 영향을 미치는지에 대해 알기 위함이다. 반면에, 아이트랙킹eyetracking은 유저들이 인터페이스 디자인에 시각적으로 어떻게 반응하는지에 대해 알기 위한 방법이다.

 

 

정성적Qualitative vs 정량적Quantitative

 

이 두가지 측면의 테스트는 중요하며, 근시안적인 안목에서 벗어날 수 있도록 도와준다. 정성적 테스트는 피실험자를 직접 관찰하여 행동적, 사고적 자연 데이터를 연구하는 반면에, 정량적인 것은 설문이나 통계 툴과 같은 방법들을 이용하여 행동적, 사고적 데이터를 비간접적으로 수집하여 연구하는 것이다. 예를 들어, 현장 조사field study나 사용성 리서치usability study에서, 리서처들은 사람들이 그들의 니즈를 만족시키기 위해 어떻게 기술을 사용하는지 (또는 못하는지)를 직접적으로 관찰한다. 이것을 통해 질문을 하고, 행동을 검증하며, 목표를 더 잘 달성할 수 있도록 프로토콜을 개선할 수 있는지 여부를 알 수 있다. 데이터의 분석이 대부분 수학적이지는 않다.

반대로, 정량적인 방법으로부터의 인사이트는 대부분 수학적 분석에서 얻을 수 있다. 이는, 데이터 수집 방법이 (설문 툴 이나 웹서버 로그 등) 대부분 숫자로 코딩 된 많은 양의 데이터를 포함하고 있기 때문이다.

이 차이점 때문에, 정성적 방법론은 문제를 어떻게 왜 해결해야 하는지에 대한 질문에 대한 해답을 얻는데 매우 적합하다. 반면에 정량적 방법론은 수량적인 질문에 대한 해답을 얻는 것에 더 적합하다. 이러한 숫자는 어떤 것에 우선순위를 두어야 하는지에 도움을 준다. 예를 들면 강한 영향을 줄 수 있는 이슈에 집중하는 것과 같다. 다음은 유저 리서치로부터 얻을 수 있는 답변에 따른 질문에 대해 정리한 도표이다.

 

 

제품 사용 흐름The Context of Product Use

 

세번째 특징은 리서치에서 참가자들이 제품이나 서비스를 어떻게 사용하는지 또는 못하는지에 대한 것이다. 이에는 다음과 같은 방법이 있다.

 

    - 실제 상황에서의 사용 테스트

    - 대본이 주어지는 사용 테스트

    - 제품을 사용하지 않고 하는 테스트

    - 하이브리드 테스트 (위의 테스트를 융합)

 

제품의 실제적 사용에 대해 연구할 때, 가능한 실제와 같은 행동적 또는 사고적인 반응에 대해 관찰하기 위해, 피실험자에 대한 간섭이나 방해를 최소한으로 하는 것이 중요하다. 이러한 실험은 유효한 데이터를 얻는데 용이하지만, 실험을 컨트롤 하기 어렵다는 단점이 있다. 관찰 시 선입견이 작용할 수 있음에도 불구하고, 대부분의 현장 관찰 조사에서는 이 방법을 사용하고 있다. 중간 설문이나 데이터 마이닝 또는 다른 분석 테크닉은 정량적 테스트 방법이다.

특정한 사용 양상에 대한 인사이트에 집중하기 위해서는, 대본을 이용한 방법을 사용한다. 대본의 구성 정도는 테스트의 목적에 따라 달라진다. 예를 들어, 벤치마킹 연구에는 주로 매우 정교한 대본을 사용하고 정량적인 것을 중요시 한다. 이렇게 함으로써, 신뢰할 수 있는 사용성 매트릭스를 얻을 수 있다.

제품이 사용되지 않는 테스트에서는 사용법이나 사용성 이외에 더 다양한 이슈에 대해 연구할 수 있다. 예를 들어, 브랜드나, 문화적 행동양상에 대한 연구 같은 것이 있다.

하이브리드 방법론은 제품 사용법에 대한 크리에이티브한 형식을 사용한다. 예를 들어, 참가디자인 방법론participatory-design methods은 유저들이 제품 디자인 엘리먼트를 재 배치할 수 있도록 하고, 어떻게 그들이 제시한 솔루션이 니즈를 만족시킬 수 있는지, 왜 그러한 선택을 하였는지에 대해 논의 할 수 있도록 한다. 컨셉 테스팅 방법론을 통해서는 러프한 제품이나 서비스를 제시하여 유저들이 그 제품이나 서비스를 원하는지에 대해 알 수 있다.

도표에 있는 대부분의 방법론은 하나의 축 또는 그 이상의 축을 따라 재배치 할 수 있고, 어떤 것들은 동일한 내용의 연구이기도 하며, 대부분 여러 가지 목표를 만족시킨다. 예를 들어, 현장 리서치의 경우 사람들이 어떻게 말하는지(관찰 인터뷰) 또는 사람들이 무엇을 하는지 (확장된 관찰)에 대해 초점을 맞출 수 있다. ; 만족도 테스트desirability study나 카드 분류card sorting의 경우 정량적 정성적 두가지 측면이 모두 있다. ; 그리고 아이트랙킹은 대본에 따라서 또는 대본 없이도 진행될 수 있다.

 

 

제품 개발 단계 (시간적 측면)

 

전략단계	제품개발의 시작 단계로, 일반적으로 새로운 아이디어와 기회를 모색한다. 이 단계에서의 리서치 방법론은 매우 다양하다.
실행단계	이 단계는 ‘go/no-go’에 대한 결정 포인트이다. 방향성을 변경해야 하는지 선택한 디자인 방향으로 계속 나아갈 것인지에 대한 결정을 해야 한다. 이 단계에서의 리서치는 주로 구성적이며 실행에 대한 리스크를 줄이는데 도움을 준다.
평가단계	어떤 포인트가 되면 제품이나 서비스가 적절한 수의 유저들에게 사용될 것이다. 그래서, 그들이 그것을 잘 사용하고 있는지 측정할 수 있게 된다. 사실 이 단계는 실제적으론 부가적인 단계이다. 이것은 제품의 기존 데이터나 경쟁사와 비교가 필요 할 수도 있다.

 

아래 표는 각 단계에 맞는 접근 법 및 방법론에 대해 요약한 것이다.

 

	제품 개발 단계
	전략 단계	실행 단계	평가 단계
목표	새로운 방향성과 기회를 모색하고 선택한다.	리스크를 줄이고 사용성을 높이기 위해 디자인을 최적화 한다.	자사 제품이나 경쟁사 제품과 비교하여 제품 퍼포먼스를 측정한다.
접근법	정성적 vs 정량적	주로 정성적(주요함)	주로 정량적(부가적)
일반적 방법론	현장 연구, 일기 연구, 설문 조사, 데이터 마이닝, 분석	카드 소팅, 현장 연구, 참여적 디자인, 종이 프로토타입 및 사용성 연구, 바람직성 연구, 고객 이메일	사용성 벤치마킹, 온라인 평가, 설문 조사, A/B 테스트

 

아트냐 과학이냐?

 

많은 UX 리서치 방법론이 과학적 실증에 기반을 두고 있는 것에 반해, 그 목표는 순수하게 과학적이기 보다는 이해당사자들의 니즈를 만족시키기 위한 측면이 있다. 이것이 바로 방법론을 철저하게 이를 분류하는 것보다 특징화하는 것이 일반적 가이드라인으로써 의미가 있는 이유이다.

마지막으로, 업무의 성공은 웹사이트 또는 제품의 UX를 개선함으로써 얼마나 영향을 미쳤는가로 평가될 것이다. 따라서, 이러한 분류 가이드는 적재적소에 올바른 선택을 하였는가에 대한 도움을 줄 것이다.

 

 

20가지 UX 방법론에 대한 요약

 

아래는 위 차트에 나온 유저 리서치 방법론에 대한 간단한 설명이다.

 

사용성-랩 연구Usability-Lab Studies:

참여자들이 랩실로 온다. 실험자와 피실험자가 1:1로 짝을 이루고, 제품이나 서비스에 대한 특정한 부분에 사용이나 기타 과업이 담긴 시나리오를 받는다.

 

현장 관찰 조사Ethnographic Field Studies:

리서처들이 제품이나 서비스를 사용하는 현장에 있는 참가자들을 만나 그들을 연구한다.

 

참가 디자인Participatory Design:

참가자들이 디자인 엘리먼트나 크리에이티브 머태리얼을 받고, 문제가 되는 부분을 해결할 수 있는 이상적 UX을 구성해본다.

 

포커스 그룹Focus Groups:

3-12명의 참가자 그룹이 준비된 토픽에 대해 논의를 한다. 논의나 기타 활동을 통해 구두 또는 서면으로 피드백을 받는다.

 

인터뷰Interviews:

리서처들이 참가자를 일대일로 만나 주제에 대한 심도 있는 논의를 진행한다.

 

아이트랙킹Eyetracking:

아이트랙킹 디바이스는 참가자들이 과업을 수행할 때 또는 웹사이트(어플리케이션, 제품 등)을 이용할 때 어디를 보고 있는지 정확하게 측정할수 있다.

 

사용성 벤치마킹Usability Benchmarking:

정교하게 대본화된 사용성 테스트는 몇몇의 참가자들을 대상으로 정확하고 사전에 결정된 방법들을 이용하여 이루어진다.

 

진행자가 있는 원격 사용성 테스트Moderated Remote Usability Studies:

스크린쉐어 소프트웨어나 기타 원격 제어 장치를 이용하여 사용성 테스트를 원격으로 진행한다.

 

진행자가 없는 원격 패널 테스트Unmoderated Remote Panel Studies:

자신의 개인 디바이스에 비디오 녹화나 데이터 수집 소프트웨어가 설치되어있는 숙련된 참가자가 웹사이트나 제품을 사용한다. 이때 자신의 생각을 소리 내어 이야기하고 자신의 행동을 녹화한다.

 

컨셉 테스팅Concept Testing:

리서처들이 새 컨셉의 제품 이나 서비스 시안(주요 기능을 포함)을 공유한다. 이를 통해 해당 제품이 타겟 유저층에 제품이 맞는지 확인 할 수 있다. 이것은 1:1로도 가능하며, 다수의 참가자를 통해서도 가능하며, 온라인이나 오프라인 모두 가능하다.

 

다이어리 / 카메라 테스트Diary/Camera Studies:

참가자들에게 다이어리나 카메라를 주고 제품이나 서비스와 연관된 행동을 녹화하거나 기록을 남기도록 한다. 일기장 테스트는 주로 장기적인 변화를 다르며 참가자들이 쉽게 기록할 수 있다.

 

커스텀 피드백Customer Feedback:

주로 피드백 링크, 버튼, 폼, 이메일을 통해 유저들로부터 받을 수 있다.

 

만족도 테스트Desirability Studies:

참가자들 에게 서로 다른 비주얼 디자인을 주고 제시된 리스트중에 어울리는 디자인을 선별하도록 한다. 이 테스트는 정량적, 정성적 측면을 모두 측정할 수 있다.

 

카드 분류Card Sorting:

유저에게 아이템을 그룹으로 분류하게 하는 정량적 또는 정성적 방법론 이다. 이 방법론은 유저의 멘탈 모델을 통해 사이트의 정보 구조를 만들고 정의하는데 도움을 준다.

 

클릭스트림 분석Clickstream Analysis:

스크린 또는 페이지의 기록을 분석하는 것으로 유저가 클릭하거나 본 사이트나 소프트웨어를 분석하는 것이다. 이를 위해서는 데이터를 수집할 수 있는 정치가 적절하게 셋팅 되어 있어야 한다.

 

A/B 테스트A/B Testing (=다변수 테스트multivariate testing, 라이브 테스트live testing, 버켓 테스트bucket testing):

서로 다른 디자인을 유저그룹에 랜덤 하게 노출시키고 각 디자인에 따른 유저의 행동양상에 대해 테스트 하는 방법

 

진행자가 없는 UX 테스트Unmoderated UX Studies:

정량적(또는 정성적) 이고 자동화된 방법론으로 특수한 리서치 장비를 이용하여 참가자의 행동(참가자의 컴퓨터나 브라우저에 소프트웨어를 설치)을 캡쳐하거나 이나 의견을 수집(설문조사)를 하는 방식이다. 주로 참가자에게 사이트나 프로토타입에서 실행할 수 있는 목표나 시나리오를 제시한다.

 

사실의지 테스트True-Intent Studies:

아무 사이트 방문자에게 그들이 사이트에 들어온 목적에 대해서 묻는 방법으로, 그들의 다음 행동을 측정할 수 있고, 사이트에 들어온 목적을 성공적으로 달성했는지 여부에 대해 물을 수 있다.

 

중간 설문Intercept Surveys:

사이트나 어플리케이션을 사용하는 도중에 발생되는 설문조사

 

이메일 설문Email Surveys:

이메일 메시지로 설문하는 방식

 

 

<원문>

https://www.nngroup.com/articles/which-ux-research-methods/

When to Use Which User-Experience Research Methods