Woojin Kim

어떤 설문조사는 완전히 쓸모없습니다.

(2014년 3월 15일)

아주 오래 된 일입니다. 게임을 만들다가 포커스 그룹 테스트라는 것을 한다는 이야기를 들었습니다. 사실 그게 뭔지 잘 몰랐는데, 형식은 피씨방 한 곳을 하루 동안 빌려 게임을 깔아놓고 선정된 사람들을 불러다가 하루 종일 게임을 시킨 다음 설문지를 받는 것이었습니다. 사람들은 처음에 잠깐 게임에 흥미를 보였지만 이내 극도로 지루해 하기 시작했고 누군가는 게임을 내려놓고 인터넷 익스플로러를 실행했지만 아무 사이트에도 접속할 수 없자 이내 졸기 시작했습니다. 누군가는 필드에서 몹을 때리기를 기계적으로 반복하고 있었고 또 누군가는 여기 저기 돌아다니기만을 반복했습니다. 또 누군가는 퀘스트를 받았지만 무엇을 해야 하는지 이해하지 못하는 것 같았습니다. 그리고 끝날 때 설문지를 작성했습니다.

결론부터 이야기하자면 이 설문지는 아무 짝에도 쓸모가 없었습니다. 문항마다 각각 어떤 선택을 몇 명이 했는지 예쁜 그래프로 그린 보고서를 봤지만 그걸 보고 할 수 있는 것은 없었습니다. 이를테면 ‘게임의 그래픽은 어떤가요, 매우 나쁘다, 나쁘다, 보통이다 …’ 같은 문항이 있었는데 이런 문항에 ‘‘좋다’‘는 응답이 많았지만 이걸로 개발에 어떻게 반영해야 할지 알 수 없었습니다. 또 ‘‘퀘스트가 재미있었다’ 같은 질문도 마찬가지입니다. 만족도가 낮은 것으로 조사되기는 했지만 그래서 만족도가 낮은 원인이 무엇인지를 파악할 수는 없었습니다. 또한 만족도가 낮다는 것이 게임의 다른 부분에 비해 만족도가 낮다는 것인지 플레이어들의 다른 게임 경험에 비춘 절대적인 만족도가 낮다는 이야기인지도 파악할 수가 없었습니다.

몇 년이 지나 다른 게임을 만들 때에도 포커스 그룹 테스트를 할 일이 생겼습니다. 이번에는 이런 테스트를 전문적으로 수행한다는 회사를 통했는데, 그룹 별로 흥미로운 특성과 이 특성에 따른 실험설계 보고서를 미리 받아볼 수 있었습니다. 가령 이 회사 게임을 해 본 사람과 그렇지 않은 사람, 이 장르의 게임을 해 본 사람과 그렇지 않은 사람, 비슷한 연령 대의 사람, 성별에 따른 사람 등으로 분류했고 실험 설계에 따라 제어된 사람들이 입장해 테스트를 진행했습니다. 이들로부터도 설문을 하기는 했습니다만 실상 이 설문 자료에 집중하지 않았습니다. 미러룸에서 개발팀이 주로 집중한 부분은 플레이어들의 반응이었습니다. 실제로 이들의 플레이를 촬영하기도 했습니다. 물론 … 양이 너무 많아서 몇 개만 보고 나머지는 공용 서버에 파일로만 남아있었습니다. 꽤 큰 비용을 들였을 것 같은 회사에는 좀 미안하지만요.

테스트가 끝나고 받은 보고서에는 설문조사 뿐 아니라 모더레이터가 작성한 의견이나 테스트를 통제한 담당자의 의견 등이 이전에 비해서는 좀 더 쓸만한 형태로 적혀 있었습니다. 조작을 좀 수정했고 매치메이킹에서 실력을 주로 고려하는 것 이외에도 몇 가지 다른 팩터를 고려해야 한다는 사실을 깨달았습니다. 안타깝게도 이 보고서는 이후 개발에 아주 잘 활용되지는 않았는데 보고서의 내용을 충분히 고려해 개발할 여유가 없었습니다. 테스트 자체는 괜찮았지만 개발 과정이 이를 뒷받침해 주지 못했습니다. 여기서 느낀 점은 설문조사는 설문조사 자체만으로는 의미를 가지기 어려우며 설문 자체를 설계하고 해석하는데 상당한 지식이 필요하고 설문에 대한 원인을 찾아내는데 많은 자원이 필요하다는 것이었습니다. 또 이를 실제 업무를 개선하는데까지 연결하는 것은 더더욱 어렵고요.

또 시간이 흘렀습니다. 이번에는 게임 개발과 관계 없이 점심 저녁을 먹는 식당 이야기입니다. 어느 날 식당에 갔더니 나가는 길목에 오늘 나온 메뉴에 만족도를 매기는 장치가 붙어 있었습니다. 커다란 평판 모니터였는데 터치할 수 있었습니다. 식당에는 매일 몇 가지 메뉴가 나오는데 때에 따라 메뉴 선호가 극단으로 갈려 어떤 코너에는 식당 바깥까지 줄을 서 있는 반면 다른 코너에는 ‘‘아무도’ 줄을 서지 않는 모습을 볼 수 있기도 합니다. 이 식당 운영 주체는 이전에 한 번 비공개 설문 조사를 한 적이 있습니다. 하지만 이 설문조사 역시 실제 개선에 활용할 수 있을지 의문이었습니다. 가령 ‘‘식당의 밥에, 아주 만족한다, 만족한다, 보통이다 …’ 같은 질문에 ‘‘만족한다’‘에 많은 응답이 나왔다면 대체 이걸 어떻게 해석해야 할까요. 지금 잘 하고 있으니 지금대로 유지하면 된다고 판단해야 할까요? 지금대로 유지한다는 것은 무엇을 어떻게 얼마나 유지한다는 의미인지 알기 어려웠습니다.

식당 나가는 길목에 설치된 메뉴 만족도를 표시하는 것도 마찬가지입니다. 상황은 좀 더 복잡합니다. 점심 시간이 시작되자 마자 많은 사람들이 식당에 들이닥치며 이들 중 일부는 메뉴 이름과 사진을 보고 메뉴를 선택하지만 또 다른 누군가는 줄 길이를 보고 가장 빨리 먹을 수 있는 메뉴를 선택하기도 합니다. 또 시간대에 따라 줄이 긴 코너는 메뉴의 종류 자체와는 별 관련이 없을 수 있고 사람들은 줄 길이를 보고 인기 있는 메뉴에 줄을 서기도 하고 한 팀의 팀원 전체가 내려와 선택을 귀찮아하며 누군가의 선택에 우르르 몰려가기도 합니다. 이런 상황에서 특정 메뉴에 만족도를 조사한다면 이 조사 결과가 실제 메뉴의 만족도에 얼마나 근접하는 것인지 알기 어렵다고 생각합니다. 만약 정말 만족도를 개선할 생각이 있다면 도리어 반납하는 식기를 관찰하는 편이 더 의미 있을 지도 모릅니다.

자. 반납하는 식기 관찰에 대한 이야기가 나왔으니 이제 하고 싶은 이야기를 시작하겠습니다. 설문 조사를 잘 하는 방법을 모르겠습니다. 위에 이야기한 사례 중 맨 처음 사례의 설문조사는 사실 제가 만들었습니다. 그러니까 기획팀의 누군가가 만들어야 했는데 테스트 목적이 뭔지 몰랐고 어디에 초점을 맞춰야 하는지도 몰랐습니다. 몇 번의 컨펌을 거치면서 여기 저기서 본 그저 그런 설문조사처럼 각각의 문항은 흐리멍텅해지고 결과에 의미가 없는 형태로 바뀌었습니다. 결국 활용할 수도 없었고 회사의 많은 돈을 낭비했습니다. 설문 조사를 잘 하면 될 테지만 두 번째 사례에서 보듯 설문조사를 잘 하기 위해서는 많은 시간과 돈이 필요하며 결과를 활용하는데까지 연결하려면 더 많은 시간과 돈이 필요합니다. 설문조사는 하기도 어렵고 사용하기도 어렵습니다.

사람들의 말을 정말로 듣고 싶다면 로그를 관찰해야 합니다. 모두가 알고있다시피 사람들은 습관적으로 거짓말을 합니다. 원하든 원하지 않든 그냥 무의식적으로 거짓말을 합니다. 가령 팀 테스트 후 설문지에 ‘‘어느 부분까지 플레이 하셨습니까?, 여기까지, 저기까지, 거기까지’ 같은 문항에 사람들은 어떻게 답할까요? 결과는 더 많이 플레이한 쪽으로 기울어집니다. 최고로 열심히 하지는 않았지만 그 바로 아래 단계까지는 했다고들 이야기합니다만, 실제로 거기까지 진행한 화면을 띄운 사람은 몇 없었습니다. 다들 자신이 열심히 플레이 했다고 주장하기 위해 거짓말을 하고 있습니다. 이걸 좋다 나쁘다 같은 기준에 따라 이야기할 수는 없습니다. 누구나 사회생활을 하고 또 회사생활을 하고 있을 테니까요. 다만 우리는 진짜 솔직한 답변이 필요한데 설문조사 같은 방법으로는 솔직한 답변을 얻을 수 없습니다. 그래서 로그를 관찰해야 합니다. 만약 로그에까지 거짓말을 할 수 있는 사람이 있다면 연봉을 올려서 사내에 있는 이런 기술을 가진 집단으로 옮기는 편이 낫겠죠.

이건 설문조사는 쓸모 없다는 이야기를 할 거였으니까 로그를 어떻게 쓸 지에 대한 이야기는 할 필요가 없을 것 같네요. 요약하면 모든 사람들은 습관적으로, 무의식적으로 거짓말을 하며 이유는 사회생활과 회사생활을 하고 있기 때문입니다. 이 때문에 어떤 설문조사는 완전히 무의미한 낭비인데, 여기에는 설문조사를 잘 설계하고 해석하고 실제 개발에 적용하기가 너무 어렵다는 이유도 있습니다. 이 모든 상황을 조금이라도 극복하기 위해서는 설문조사는 그만 두고 로그에 관심을 기울여야 합니다.