만족도 조사를 돌려 놓고 결과표 앞에서 막히는 순간이 있다. 항목이 스무 개인데 만족도 점수가 3.4에서 4.1 사이에 촘촘히 몰려 있다. 어디부터 손대야 하는가. 점수가 가장 낮은 항목부터 고치면 될 것 같지만, 그 항목이 애초에 별로 중요하지 않은 항목이라면 개선해도 아무것도 달라지지 않는다.
이 문제를 정면으로 다루는 기법이 IPA(Importance-Performance Analysis, 중요도-성취도 분석)다. Martilla와 James가 1977년에 제안한 이래 마케팅에서 출발해 지금은 교육·행정·체육·관광 분야의 요구분석에서 표준 도구가 되었다. 발상은 단순하다. 각 항목에 대해 중요도와 성취도를 각각 따로 묻고, 두 값을 두 축으로 하는 격자에 배치해 사분면으로 우선순위를 읽는다.
이 글은 IPA를 세 부분으로 정리한다. (가) 언제 이 기법을 고르는가, (나) 설문 설계부터 사분면 해석까지의 절차와 각 단계의 결정, (다) 논문의 연구방법과 결과에 무엇을 어떻게 쓰는가.
(가) 언제 IPA를 고르는가
이 기법이 맞는 연구 질문
- “무엇을 먼저 개선해야 하는가” — 자원이 한정되어 우선순위를 정해야 하는 상황.
- 이미 운영 중인 프로그램·서비스·교육과정의 진단 — 성취도를 물을 대상이 실제로 존재해야 한다. 아직 시행되지 않은 계획에는 쓸 수 없다.
- 결과물이 실천 제언이어야 할 때 — 사분면은 그 자체로 “집중 개선”, “유지”, “과잉 투자”라는 행동 지침을 준다.
- 수요자와 공급자의 인식 차이를 보고 싶을 때 — 두 집단의 격자를 나란히 놓으면 어긋남이 그림 하나로 드러난다.
다른 기법과의 갈림길
- 가중치 자체가 결과물이어야 한다면 — 항목 간 상대적 비중을 소수점까지 산출해 배점표로 써야 한다면 AHP 계층분석적 의사결정이 맞는다. IPA는 사분면이라는 네 칸의 분류를 줄 뿐 정밀한 가중치를 주지 않는다.
- 평가 항목 자체가 아직 없다면 — 무엇을 물을지부터 정해야 하므로 델파이 기법으로 항목을 확정한 뒤 IPA로 넘어간다. 국내 논문에서 델파이와 IPA를 순서대로 결합하는 설계가 흔한 이유다.
- 모집단의 만족 수준 자체가 궁금하다면 — 우선순위가 아니라 수준 추정이 목적이므로 일반적인 설문조사 설계로 충분하다.
(나) 절차: 다섯 단계와 각 단계의 결정
1단계: 속성을 확정한다
격자에 찍힐 점 하나하나가 속성이다. 문헌고찰로 후보를 모으고 전문가 검토나 델파이로 확정한다. 두 가지 조건이 있다. 속성끼리 개념이 겹치지 않아야 하고, 각 속성이 실제로 개선 가능한 단위여야 한다. “교육의 질”처럼 손댈 수 없는 추상 개념이 속성으로 들어가면 사분면에 배치해 놓고도 제언을 쓸 수 없다. 항목 수는 대체로 15개에서 30개 사이가 격자의 가독성과 정보량 사이에서 무난하다. 항목이 40개를 넘어가면 격자에 점이 뭉쳐 시각적 판별이 불가능해지므로 영역별로 격자를 나누어 그리는 편이 낫다.
2단계: 이원 설문지를 만든다
같은 항목에 대해 두 번 응답을 받아야 한다. 배치 방식은 두 가지다.
- 나란히 배치 — 한 행에 항목명, 중요도 응답란, 성취도 응답란을 함께 둔다. 응답 시간이 짧고 누락이 적지만, 두 응답이 서로를 참조해 인위적으로 벌어지거나 붙을 수 있다.
- 분리 배치 — 설문지를 전반부(중요도)와 후반부(성취도)로 나눈다. 독립성이 높아지지만 응답 부담이 커지고, 후반부로 갈수록 성의 없는 응답이 늘어난다.
어느 쪽이든 중요도와 성취도의 척도 점수를 동일하게 맞춰야 한다. 중요도는 5점, 성취도는 7점으로 물으면 두 값을 같은 격자에 놓을 수 없다. 응답 지시문에서 두 개념의 차이를 명확히 설명하는 것도 필수다. 실제 응답 현장에서는 “중요하다”와 “잘하고 있다”를 구분하지 못해 두 열에 같은 값을 적는 응답자가 적지 않으므로, 예시 문항을 한 줄 넣어 두면 그런 응답이 눈에 띄게 줄어든다. 문항 배치와 배포의 기본기는 설문지 만드는 법 7단계 튜토리얼을 그대로 적용하면 된다.
3단계: 차이의 유의성을 검정한다
사분면을 그리기 전에 먼저 확인할 것이 있다. 항목별로 중요도와 성취도의 차이가 통계적으로 유의한가. 같은 응답자가 같은 항목에 두 번 답했으므로 대응표본 t-검정을 쓴다. 독립표본 t-검정을 쓰면 자료 구조를 잘못 다룬 것이 되어 곧바로 지적을 받는다. 항목이 많다면 다중검정으로 인한 1종 오류 증가를 고려해 유의수준 보정을 검토하거나, 유의성과 함께 차이의 크기를 나란히 제시한다.
4단계: 기준선을 정한다 — 여기서 결론이 뒤집힌다
IPA에서 가장 결정적이면서 가장 자주 얼버무리는 지점이다. 격자를 사분면으로 나누는 두 개의 기준선을 어디에 그을 것인가. 선택지는 둘이다.
- 척도 중앙값 기준 — 5점 척도라면 3점에 선을 긋는다. 절대적 해석이 가능하다는 장점이 있지만, 실제 자료에서는 중요도 응답이 대부분 4점대에 몰리는 천장효과 때문에 거의 모든 속성이 오른쪽 사분면에 들어간다. 변별이 되지 않아 분석의 의미가 사라진다.
- 전체 평균 기준 — 중요도 전체 평균과 성취도 전체 평균에 선을 긋는다. 국내 논문의 사실상 표준이며 변별력이 확보된다. 다만 결과가 상대적 위치가 된다는 점을 해석에 반영해야 한다. 절대적으로 낮지 않아도 다른 항목보다 낮으면 개선 대상으로 분류되기 때문이다.
어느 방식을 썼는지 반드시 명시한다. 이 한 문장이 없으면 독자는 사분면 배치를 검증할 수 없다.
5단계: 사분면을 해석한다
- 1사분면 — 중요도 높음, 성취도 높음: 유지·강화. 잘하고 있으므로 현 수준을 지킨다. 제언에서 “지속적 관리”로 서술한다.
- 2사분면 — 중요도 높음, 성취도 낮음: 집중 개선. 최우선 과제이며 논문 제언의 핵심이 되는 칸이다.
- 3사분면 — 중요도 낮음, 성취도 낮음: 낮은 우선순위. 지금 손대지 않아도 되는 영역이다. “성취도가 낮으니 개선하라”고 쓰면 IPA를 쓴 의미가 없어진다.
- 4사분면 — 중요도 낮음, 성취도 높음: 과잉 투자. 자원을 2사분면으로 옮길 여지가 있는 영역이다. 이 칸에서 나오는 제언이 IPA의 가장 실용적인 기여다.
경계선에 바짝 붙은 항목은 별도로 다뤄야 한다. 평균에서 0.02점 차이로 사분면이 갈린 항목을 단정적으로 분류하면 해석이 자료보다 앞서게 된다. 이런 항목은 표에서 별도로 표시하고 “경계 영역”으로 서술하는 편이 정직하다.
Borich 요구도와 Locus for Focus를 함께 쓴다
IPA는 어느 칸에 속하는지를 알려 주지만 같은 칸 안에서의 우선순위는 알려 주지 않는다. 2사분면에 여덟 개 항목이 들어 있다면 그중 무엇이 가장 급한지 판단할 수 없다. 이 공백을 메우는 것이 국내 교육 분야에서 널리 쓰이는 두 기법이다.
- Borich 요구도 — 중요도와 성취도의 차이에 중요도를 가중해 합산하고 응답자 수로 나눈다. 결과가 순위로 나오므로 상위 몇 개를 뽑을 수 있다.
- Locus for Focus 모형 — 가로축을 중요도, 세로축을 불일치도(중요도 − 성취도)로 하는 또 하나의 격자를 그린다. 둘 다 높은 1사분면이 최우선 영역이다.
세 결과가 공통으로 가리키는 항목을 최우선 과제로 제시하는 3단계 구성이 표준으로 자리 잡았다. 세 기법이 서로 다른 항목을 가리킨다면 그 불일치 자체를 논의하는 것이 오히려 좋은 고찰이 된다.
두 집단의 격자를 겹쳐 보기
IPA의 활용 폭을 크게 넓히는 변형이 집단별 격자 비교다. 학생과 교수, 이용자와 제공자, 신입과 경력자처럼 입장이 다른 두 집단에 같은 문항을 물어 격자를 각각 그리면, 같은 항목이 한쪽에서는 2사분면에 다른 쪽에서는 4사분면에 놓이는 경우가 나타난다. 이 어긋남이 곧 연구의 발견이다. 공급자는 충분히 하고 있다고 보는데 수요자는 부족하다고 보는 항목이야말로 개선의 출발점이기 때문이다. 이때는 집단 간 중요도·성취도 차이에 대해 독립표본 t-검정을 별도로 실시해 어긋남이 통계적으로도 뒷받침되는지 확인한다.
(다) 논문에 어떻게 보고하는가
연구방법 절에 들어갈 여섯 가지
- 속성 도출 과정과 최종 속성 수, 내용타당도 확보 방법
- 중요도·성취도 척도의 점수 범위와 응답 배치 방식
- 측정도구의 신뢰도(중요도와 성취도 각각)
- 대응표본 t-검정 적용 사실
- 사분면 기준선 산정 방식과 그 근거
- Borich 요구도나 Locus for Focus를 병행했다면 그 산출 방식
결과 절에 넣을 표와 그림
- 표 1 — 속성별 중요도 평균·표준편차, 성취도 평균·표준편차, 차이, t값, 유의확률. IPA 논문의 기본 표다.
- 그림 1 — 사분면 격자. 각 점에 항목 번호를 달고, 표 1과 번호를 일치시킨다. 항목명을 격자 안에 다 쓰려다 그림이 뭉개지는 것이 흔한 실수다.
- 표 2 — 사분면별 항목 목록. 그림만으로는 경계 근처 항목의 소속이 모호하므로 표가 반드시 함께 있어야 한다.
- 표 3(병행 시) — Borich 요구도 값과 순위, Locus for Focus 사분면, 그리고 세 기법의 공통 도출 항목.
바로 쓸 수 있는 모범 문장
본 연구는 개선 과제의 우선순위를 도출하기 위해 IPA(Importance-Performance Analysis)를 적용하였다. IPA는 각 속성의 중요도와 성취도를 별도로 측정하여 이차원 격자에 배치함으로써, 성취도만으로는 드러나지 않는 개선 우선순위를 시각적으로 판별할 수 있다는 점에서 본 연구의 목적에 부합한다.
측정 속성은 선행연구 분석으로 도출한 28개 문항을 전문가 5인의 내용타당도 검토를 거쳐 22개로 확정하였다. 각 문항에 대해 중요도와 성취도를 동일한 5점 리커트 척도로 측정하였으며, 응답자가 두 개념을 구분하도록 지시문에 각각의 정의를 제시하였다. 신뢰도는 중요도 .93, 성취도 .91이었다.
속성별 중요도와 성취도의 차이는 동일 응답자의 두 반응을 비교하는 것이므로 대응표본 t-검정으로 검정하였다. 사분면의 기준선은 중요도 전체 평균(4.21)과 성취도 전체 평균(3.48)으로 설정하였다. 척도 중앙값을 기준으로 할 경우 중요도 응답의 천장효과로 대부분의 속성이 동일 사분면에 배치되어 변별이 어렵다고 판단하였기 때문이다.
아울러 사분면 내부의 우선순위를 판별하기 위해 Borich 요구도와 Locus for Focus 모형을 병행 적용하고, 세 결과가 공통으로 지목한 항목을 최우선 개선 과제로 도출하였다.
분석 결과 22개 속성 중 6개가 중요도는 높으나 성취도가 낮은 2사분면에 위치하였다. 이 중 Borich 요구도 상위 25% 이내이면서 동시에 Locus for Focus 1사분면에 속한 항목은 3개였으며, 이를 최우선 개선 과제로 제시하였다.
심사에서 자주 지적되는 다섯 가지
- 기준선 산정 방식을 밝히지 않았다 — 사분면 배치를 검증할 수 없다.
- 독립표본 t-검정을 썼다 — 같은 응답자의 두 응답이므로 대응표본이어야 한다.
- 3사분면 항목까지 개선 과제로 제시했다 — 우선순위를 가리려고 IPA를 쓴 의미가 사라진다.
- 4사분면 해석이 없다 — 자원 재배치 제언이라는 IPA의 실용적 기여를 놓친다.
- 격자 그림과 표의 항목 번호가 어긋난다 — 독자가 어느 점이 어느 항목인지 추적할 수 없다.
자주 묻는 질문
사분면 기준선을 척도 중앙값과 평균 중 무엇으로 잡아야 하나요?
국내 논문에서는 전체 평균을 기준선으로 쓰는 방식이 표준입니다. 5점 척도의 중앙값인 3점을 기준으로 삼으면 중요도 응답이 대부분 4점대에 몰려 거의 모든 속성이 오른쪽 사분면에 들어가 변별이 되지 않기 때문입니다. 다만 평균을 기준으로 하면 결과가 상대적 위치가 된다는 점, 즉 절대적으로 낮지 않아도 다른 항목보다 낮으면 개선 대상으로 분류된다는 점을 해석에 반영해야 합니다. 어느 방식을 썼는지는 반드시 명시해야 합니다.
중요도가 모든 항목에서 높게 나오는데 어떻게 하나요?
직접 물어본 중요도에서 흔히 나타나는 천장효과입니다. 세 가지 대응이 있습니다. 첫째, 기준선을 척도 중앙값이 아니라 전체 평균으로 잡습니다. 둘째, 중요도를 직접 묻지 않고 성취도와 전반적 만족도의 관계에서 도출하는 간접 중요도를 씁니다. 셋째, 순위를 매기게 하거나 제한된 점수를 배분하게 하는 문항 형식으로 바꿉니다. 어떤 방식을 택했든 그 이유를 연구방법에 적어야 합니다.
IPA와 Borich 요구도는 함께 써야 하나요?
함께 쓰는 것이 국내 교육 분야의 사실상 표준입니다. IPA는 어느 사분면에 속하는지를 보여 주지만 사분면 안에서의 우선순위는 알려 주지 않습니다. Borich 요구도는 중요도와 성취도의 차이에 중요도를 가중해 순위를 매기므로 이 공백을 메웁니다. 여기에 Locus for Focus 모형까지 더해 세 결과가 공통으로 가리키는 항목을 최우선 과제로 제시하는 3단계 구성이 널리 쓰입니다.
중요도와 성취도의 차이는 어떤 검정으로 확인하나요?
같은 응답자가 같은 항목에 두 번 답했으므로 대응표본 t-검정을 씁니다. 독립표본 t-검정을 쓰면 자료 구조를 잘못 다룬 것이 되어 지적을 받습니다. 항목이 많으면 다중검정으로 인한 1종 오류 증가를 고려해 유의수준 보정을 검토하거나, 유의성과 함께 차이의 크기를 나란히 제시하는 편이 안전합니다.
정리
IPA는 계산이 쉬운 기법이지만 결정 하나가 결론을 좌우한다. 기준선을 어디에 긋느냐다. 척도 중앙값으로 잡아 놓고 “대부분의 항목이 잘 관리되고 있다”는 결론을 낸 논문과, 전체 평균으로 잡아 여섯 개의 집중 개선 과제를 뽑아낸 논문은 같은 자료에서 나올 수 있다. 그러니 기준선 선택과 그 근거를 한 문장으로 명시하고, 사분면 표와 격자 그림의 번호를 일치시키고, 4사분면에서 자원을 옮겨 오는 제언까지 쓴다. 그 세 가지가 IPA 논문의 완성도를 결정한다. 방법론 전체 지형에서 이 기법이 놓이는 자리는 연구방법론 완전 가이드에서 확인할 수 있다.