사회복지학 석사논문에서 프로그램 효과성을 평가하려면 흔히 평가도구가 필요하다. 이미 타당화된 도구가 있으면 좋지만, 현장 프로그램에 딱 맞는 도구가 없어 기존 도구를 수정하거나 새로 만들어야 하는 경우가 많다. 이때 심사에서 가장 먼저 묻는 것이 “이 문항들이 정말 측정하려는 개념을 대표합니까”라는 질문, 곧 내용타당도다. 이 질문에 답하는 가장 흔한 방법이 전문가 패널에게 문항을 평가받아 Lawshe의 내용타당도비(CVR)와 문항 수준 내용타당도 지수(CVI)를 계산하는 것이다.
이 글은 사회복지 프로그램 평가도구를 사례로 전문가 타당도 절차를 처음부터 끝까지 따라간다. 전문가 패널을 꾸리는 법, 평가 양식을 만드는 법, CVR과 CVI를 계산하는 법, 기준값을 정하고 해석하는 법, 논문에 보고하는 문장까지 이어진다. 본문의 평가도구, 문항, 전문가 평가 결과는 모두 설명을 위한 가상의 예시이며 계산 과정은 직접 따라 계산할 수 있도록 제시했다.
내용타당도와 전문가 타당도는 무엇인가
내용타당도는 도구의 문항들이 측정하려는 개념의 내용 영역을 얼마나 적절하게 대표하는가에 대한 것이다. 통계로 자료에서 계산하는 신뢰도나 구성타당도와 달리, 내용타당도는 문항을 개념과 비교하는 전문가의 판단에 의존한다. 그래서 전문가 타당도라고도 부른다. 도구 개발 초기 단계에서 문항 풀을 정리할 때 가장 먼저 수행하는 절차이며, 간호학과 사회복지학처럼 현장 전문성이 중요한 분야에서 특히 널리 쓰인다.
전문가 타당도는 통계적 신뢰도와 구성타당도를 대체하지 않는다. 문항이 개념을 대표한다고 전문가가 판단했더라도, 응답자가 문항을 이해하는 방식이나 문항 사이의 구조는 실제 응답 자료로 검증해야 한다. 신뢰도와 타당도 전반의 보고 기준은 신뢰도와 타당도 완전 가이드에 정리되어 있으니, 전문가 타당도를 그 안에서 어디에 위치시킬지 먼저 이해해 두면 좋다.
어떤 상황에서 전문가 타당도를 쓰는가
- 새 도구를 개발할 때 — 문항 풀을 만든 뒤 개념 대표성과 문항의 적절성을 평가받는다.
- 기존 도구를 수정할 때 — 대상이나 맥락에 맞춰 문항을 바꿨다면 수정 후의 내용타당도를 다시 확인한다.
- 번안 도구를 사용할 때 — 번안 과정에서 문항 의미가 유지되었는지 전문가위원회가 평가한다. 번안 절차 전체는 외국 척도 번안·역번역 FAQ에서 정리했다.
- 프로그램 평가 항목을 구성할 때 — 사회복지 프로그램의 성과 지표나 만족도 문항이 서비스 내용을 대표하는지 확인한다.
1단계: 전문가 패널을 꾸린다
전문가 패널의 구성이 타당도 평가의 신뢰성을 결정한다. 사회복지 프로그램 평가도구라면 해당 분야의 현장 실무자, 사회복지학 교수, 프로그램 평가나 측정 전문가를 포함하는 구성이 흔하다. 전문가는 도구가 다루는 개념과 대상 집단을 충분히 아는 사람이어야 하며, 연구자와 이해관계가 없는 사람이 섞여 있을수록 평가의 객관성이 높아 보인다. 전문가를 섭외할 때는 평가에 필요한 시간과 방식, 결과의 사용 목적, 응답의 비밀 보장 방식을 미리 알려야 하고, 응답 기한을 충분히 주어야 평가의 질이 유지된다.
전문가 수는 계산 방식과 기준값에 영향을 준다. Lawshe(1975)가 Personnel Psychology 28권 4호(563–575쪽)에서 제안한 내용타당도비는 전문가 수에 따라 문항이 통과하려면 필요한 최소값이 달라진다. 선행연구에서는 전문가 열 명일 때 최소 기준값이 0.62, 열다섯 명일 때 0.49로 보고된 사례가 있으나, 이 값은 반드시 Lawshe의 원전이나 이를 인용한 신뢰할 수 있는 표에서 직접 확인해야 한다. 전문가 수를 정할 때는 소속 학과의 관행과 선행연구를 참고하고, 선택한 수와 근거를 연구방법에 적는다.
2단계: 평가 양식을 설계한다
전문가에게 줄 평가 양식에는 도구의 목적과 대상, 측정하려는 개념의 정의, 문항 목록, 평가 기준, 자유 의견란이 들어간다. 평가 기준은 두 가지 형태가 흔하다.
- CVR용 3점 평가 — “필수적이다”, “유용하지만 필수적이지 않다”, “필요하지 않다” 중에서 고르게 한다. “필수적이다”라고 답한 전문가 수로 CVR을 계산한다.
- CVI용 4점 평가 — “전혀 관련 없다”에서 “매우 관련 있다”까지 4점 척도로 문항의 관련성을 평가하게 한다. 3점 또는 4점으로 평가한 전문가 비율로 문항 수준 CVI를 계산한다.
두 방식을 동시에 쓰는 연구도 많다. 평가 양식에는 문항별 수정 의견을 적을 수 있는 칸을 반드시 두어, 점수가 높더라도 표현이 어색한 문항을 손볼 수 있게 한다. 개념의 정의는 양식 맨 앞에 제시해 전문가가 같은 기준으로 판단하게 한다. 정의를 쓰는 요령은 간호학 논문 용어의 정의 쓰는 법의 개념적 정의와 조작적 정의 구분이 사회복지 논문에도 그대로 적용된다. 문항은 하위 영역별로 묶어 제시하면 전문가가 영역의 균형까지 함께 판단할 수 있고, 각 문항 옆에 “이 문항은 어느 하위 영역을 측정하려는 것인가”를 표시해 두면 대표성 평가가 쉬워진다.
3단계: CVR을 계산한다
Lawshe의 내용타당도비는 한 문항에 대해 “필수적이다”라고 답한 전문가 수(n)와 전체 전문가 수(N)로 계산한다. 공식은 CVR = (n − N/2) ÷ (N/2)이다. 모든 전문가가 필수적이라고 답하면 CVR은 1이 되고, 절반만 그렇게 답하면 0이 되며, 절반 미만이면 음수가 된다. 다음은 가상의 계산 예시다.
- 전문가 10명, 문항 A에서 9명이 필수적이라고 응답 → CVR = (9 − 5) ÷ 5 = 0.80
- 전문가 10명, 문항 B에서 8명이 필수적이라고 응답 → CVR = (8 − 5) ÷ 5 = 0.60
- 전문가 10명, 문항 C에서 10명이 필수적이라고 응답 → CVR = (10 − 5) ÷ 5 = 1.00
전문가가 열 명이고 기준값이 0.62라면 문항 A와 C는 통과하고 문항 B는 기준에 미달한다. 문항 B는 삭제하거나 수정한 뒤 다시 평가받는다. 전문가가 열다섯 명이고 기준값이 0.49인 경우에는 11명이 필수적이라고 답하면 CVR = (11 − 7.5) ÷ 7.5 ≈ 0.47로 미달이고, 12명이면 (12 − 7.5) ÷ 7.5 = 0.60으로 통과한다. 이처럼 같은 비율의 응답이라도 전문가 수에 따라 판정이 달라질 수 있으므로, 기준값과 전문가 수를 함께 보고해야 한다. 스프레드시트로 계산한다면 문항별로 필수적이라고 답한 인원수를 먼저 세고, 위 공식을 한 열에 입력해 한꺼번에 계산하면 실수가 줄어든다.
4단계: 문항 수준 CVI와 척도 수준 CVI를 계산한다
4점 척도로 관련성을 평가하게 한 경우에는 문항 수준 CVI(I-CVI)를 계산한다. 한 문항에 대해 3점 또는 4점을 준 전문가 수를 전체 전문가 수로 나눈 값이다. 전문가가 열 명이고 그 중 9명이 3점 이상을 줬다면 I-CVI는 0.90이다. 척도 전체의 CVI(S-CVI)는 모든 문항의 I-CVI를 평균 내는 방식(S-CVI/Ave)이나, 모든 전문가가 3점 이상을 준 문항의 비율을 보는 방식(S-CVI/UA)으로 계산한다.
CVI를 보고할 때 가장 중요한 것은 어떤 방식으로 계산했는지를 밝히는 일이다. CVI의 계산 방식과 보고 방식은 Polit와 Beck(2006)이 Research in Nursing & Health 29권 5호(489–497쪽)에서 비판적으로 논의했고, Polit, Beck, Owen(2007)이 같은 학술지 30권 4호(459–467쪽)에서 CVI가 내용타당도 지표로 적절한지를 검토하고 권고안을 제시했다. 두 논문은 문항 수준과 척도 수준 CVI를 구분하고 계산 방식을 명시할 것을 강조하는 대표 문헌이므로, 기준값과 해석을 쓰기 전에 원문을 열어 전문가 수별 권고 기준을 직접 확인한다. Lynn(1986)이 Nursing Research 35권 6호(382–386쪽)에서 내용타당도의 결정과 정량화를 논의한 글도 간호와 사회복지 분야에서 자주 인용된다.
5단계: 결과를 해석하고 문항을 정리한다
CVR이 기준 미달인 문항은 삭제 또는 수정 후보가 된다. 다만 기준 미달이라고 곧바로 삭제하지 않고 전문가의 자유 의견을 함께 읽는다. 문항이 필수적이라고 보지 않은 이유가 문장이 모호해서인지, 개념에 맞지 않아서인지에 따라 대응이 다르다. 수정한 문항은 필요하면 2차 평가를 거치고, 2차 평가를 했다면 1차와 2차의 전문가 구성과 결과를 모두 보고한다. 문항을 삭제했을 때는 삭제로 인해 개념의 어느 영역이 비게 되지 않는지도 확인한다.
사회복지 프로그램 평가도구를 가상으로 만든다면 다음과 같은 과정을 거친다. 청소년 멘토링 프로그램의 성과 평가도구 문항 풀 24개를 만들고, 사회복지 현장 실무자와 교수로 구성한 전문가 10명에게 평가를 요청한다. 평가 결과 문항 4개가 기준 미달로 나왔고, 자유 의견을 검토해 2개는 문구를 수정하고 2개는 중복으로 판단해 삭제했다. 최종 20문항으로 예비조사에 들어간다. 이 과정의 수치는 모두 설명을 위한 가상이다. 이때 삭제한 문항이 특정 하위 영역에 몰려 있다면 그 영역의 문항 수가 지나치게 줄어들 수 있으므로, 영역별 문항 수의 균형도 함께 확인한다.
평가 결과 표는 이렇게 정리한다
전문가 평가 결과는 부록에 문항별 표로 정리하는 것이 일반적이다. 표의 열은 문항 번호, 문항 내용, 필수적이라고 답한 전문가 수, CVR, 통과 여부, 전문가 의견 요약, 처리 결과(유지, 수정, 삭제)로 구성한다. 이 일곱 칸을 모두 채워 두면 심사에서 어떤 문항이 왜 바뀌었는지를 한 장으로 설명할 수 있다. 본문에는 표 전체가 아니라 요약 수치만 싣는다. 평가한 문항 수, 통과한 문항 수, 수정한 문항 수, 삭제한 문항 수, 최종 문항 수를 한 문단에 쓰고, 상세 표는 부록 번호를 붙여 참조한다.
표를 만들 때 가장 흔한 실수는 전문가 의견을 정리하지 않고 점수만 남기는 것이다. 점수는 통과 여부만 알려 줄 뿐 문항을 어떻게 고쳐야 하는지는 알려 주지 않는다. 전문가가 남긴 문장 수준의 의견을 문항별로 한 줄씩 요약해 두면 수정 근거가 분명해지고, 이는 곧 연구자가 전문가 의견을 성실히 반영했다는 증거가 된다. 의견이 서로 엇갈릴 때는 다수 의견을 따르는지, 연구 목적에 맞는 의견을 따르는지 기준을 정해 두고 그 기준도 함께 기록한다.
논문에는 이렇게 보고한다
연구방법의 측정도구 절에 전문가 타당도 절차를 한 문단으로 쓰고, 상세 결과는 표나 부록으로 제시한다. 아래는 가상의 보고 문장 예시다.
도구의 내용타당도를 확인하기 위해 사회복지학 교수 4인과 청소년 복지 현장 실무자 6인, 총 10인의 전문가에게 문항별 평가를 의뢰하였다. 각 문항에 대해 필수성을 3점 척도로 평가하게 하여 Lawshe(1975)의 내용타당도비(CVR)를 산출하였고, 전문가 10인의 최소 기준값인 0.62에 미달한 4개 문항은 전문가 의견을 반영하여 수정 또는 삭제하였다. 최종 문항의 CVR은 0.80에서 1.00의 범위였다. (가상 수치)
보고 문장에서 피해야 할 것은 계산 방식을 밝히지 않은 CVI 수치와 근거 없는 기준값이다. 기준값은 반드시 인용한 문헌에서 가져오고, 인용한 표나 논문을 연구방법 또는 참고문헌에 밝힌다. 전문가의 소속과 경력 요건도 구체적으로 적어 평가의 신뢰성을 보여 준다. 전문가의 이름은 비공개로 하는 경우가 많으므로 소속과 직위, 경력 연수 정도로 요약해 표로 제시한다.
흔한 오류와 심사에서 나오는 질문
- 전문가 수와 기준값이 맞지 않는다 — 열 명이 평가했는데 열다섯 명 기준값을 쓴다. 판정이 틀어진다.
- CVR과 CVI를 혼동한다 — 두 지표는 평가 방식과 의미가 다르다. 어떤 지표를 어떤 척도로 계산했는지 구분해 쓴다.
- 전문가의 자격이 모호하다 — “전문가 10명”이라고만 쓰고 소속과 경력을 밝히지 않는다.
- 평가 양식에 개념 정의가 없다 — 전문가가 서로 다른 기준으로 판단하게 된다.
- 통과한 문항만 보고한다 — 기준 미달 문항과 삭제 이유까지 보고해야 과정의 투명성이 확보된다.
- 전문가 타당도만으로 타당도를 주장한다 — 구성타당도와 신뢰도 검증이 뒤따라야 한다.
심사에서 자주 나오는 질문은 “전문가는 어떻게 선정했습니까”, “기준값의 근거는 무엇입니까”, “기준 미달 문항은 어떻게 처리했습니까”다. 세 질문에 모두 답할 수 있게 선정 기준, 문헌 근거, 처리 기록을 미리 정리해 둔다. 설문 문항의 신뢰도를 SPSS로 확인하는 다음 단계는 SPSS 신뢰도 분석 튜토리얼을 따르면 되고, 전문가 합의를 여러 라운드에 걸쳐 도출하는 델파이 방식은 내용타당도 평가와 다른 방법이므로 델파이 기법 완전 가이드에서 따로 확인한다.
전문가 타당도 절차 점검표
- 평가할 개념의 정의와 도구의 목적이 평가 양식에 포함되어 있는가
- 전문가의 소속, 경력, 선정 기준이 기록되어 있는가
- 전문가 수와 CVR 기준값의 근거 문헌이 확인되어 있는가
- CVR 공식과 CVI 계산 방식(문항 수준, 척도 수준)이 구분되어 있는가
- 기준 미달 문항의 처리 기록과 전문가 의견이 정리되어 있는가
- 수정 문항의 재평가 여부가 기록되어 있는가
- 결과 표와 평가 양식이 부록에 정리되어 있는가
자주 묻는 질문
전문가는 몇 명이 적당한가요?
정해진 숫자는 없다. 선행연구와 학과 관행을 참고하고, 선택한 수에 맞는 CVR 기준값을 원전이나 신뢰할 수 있는 표에서 확인한다. 전문가가 너무 적으면 한 명의 의견이 판정을 크게 좌우하므로 지도교수와 상의해 정한다.
CVR과 CVI를 둘 다 계산해야 하나요?
연구에 따라 하나만 쓰기도 하고 둘 다 쓰기도 한다. 핵심은 평가 척도와 계산 방식을 명확히 쓰고 일관되게 보고하는 것이다. 학과나 지도교수의 선호를 확인해 정한다.
기준에 못 미친 문항을 꼭 삭제해야 하나요?
꼭 그런 것은 아니다. 문구를 수정해 다시 평가받을 수 있고, 개념에서 중요한 영역이라면 전문가와 논의해 유지할 수도 있다. 다만 유지한다면 이유를 논문에 밝혀야 한다.
전문가 타당도를 마친 뒤에도 신뢰도 검증이 필요한가요?
그렇다. 전문가 타당도는 문항의 내용적 적절성을 확인할 뿐이며, 응답 자료에서의 신뢰도와 구성타당도 검증은 별도의 단계다.
정리
전문가 타당도는 도구 개발의 첫 관문이며, 전문가 패널을 꾸리고 평가 양식을 설계하고 CVR과 CVI를 정확히 계산하고 보고하는 네 가지 작업으로 이루어진다. 사회복지 프로그램 평가도구에서는 현장 실무자와 학계 전문가를 함께 구성하고, 기준값과 전문가 수를 맞추고, 기준 미달 문항의 처리까지 투명하게 기록하는 것이 심사에서 가장 설득력 있는 방법이다.