물리치료와 체육 논문은 측정이 곧 연구의 중심이다. 악력, 관절가동범위, 균형 점수, 보행 속도, 체력 검사 기록, 통증 점수처럼 숫자로 측정하는 값이 종속변수가 되고, 그 숫자를 얼마나 믿을 수 있는지가 연구 전체의 신뢰를 좌우한다. 그래서 심사에서는 거의 반드시 “이 측정은 반복해도 같은 값이 나옵니까”라는 질문이 나온다. 이 질문에 답하는 가장 흔한 방법이 검사-재검사 신뢰도이고, 그 지표로 가장 널리 쓰이는 것이 급내상관계수(ICC)다.
그런데 ICC는 이름은 쉬운데 보고하려고 하면 막히는 지표다. 형태가 열 가지나 되어서 어느 것을 골라야 하는지 모르겠고, SPSS 결과표에는 숫자가 여러 줄 나오는데 어느 줄을 읽어야 하는지 헷갈리며, 0.8이 나왔을 때 좋은 것인지 나쁜 것인지 기준이 불분명하다. 이 글은 물리치료·체육 논문에서 측정도구의 검사-재검사 신뢰도를 ICC로 계산하고 보고하는 방법을 형태 선택, SPSS 절차, 해석 기준, 측정의 표준오차 계산, 보고 문장 순으로 정리한다. 설문 척도의 내적 일관성을 보는 Cronbach 알파는 SPSS 신뢰도 분석 튜토리얼에서 다루었으므로 이 글은 같은 대상을 반복 측정한 값의 일치도를 보는 ICC에 집중한다.
신뢰도에는 종류가 있다: 어떤 신뢰도가 필요한가
신뢰도라는 말은 하나지만 확인하려는 것이 다르면 지표도 다르다. 설문 문항들이 같은 개념을 일관되게 재는지를 보려면 내적 일관성을 보고 Cronbach 알파를 쓴다. 같은 대상을 시간을 두고 두 번 측정했을 때 값이 얼마나 일치하는지를 보려면 검사-재검사 신뢰도를 보고 ICC를 쓴다. 두 명 이상의 측정자가 같은 대상을 측정했을 때 일치하는 정도를 보려면 측정자 간 신뢰도를 보고, 같은 측정자가 반복할 때의 일치를 보려면 측정자 내 신뢰도를 본다. Koo와 Li(2016)는 ICC가 검사-재검사, 측정자 내, 측정자 간 신뢰도 분석에서 널리 쓰이는 신뢰도 지표라고 소개한다. 신뢰도와 타당도 전반의 개념은 신뢰도와 타당도 완전 가이드에서 확인할 수 있다.
물리치료와 체육 논문에서 검사-재검사 신뢰도가 필요한 경우는 크게 두 가지다. 하나는 내 연구에서 쓰는 측정 방법이 기존에 신뢰도가 보고된 적이 없는 새 방법이거나 변형된 방법일 때다. 다른 하나는 기존 도구라도 내 연구의 대상이나 환경에서 신뢰도를 확인해 두고 싶을 때다. 이미 신뢰도가 충분히 보고된 표준 도구라면 선행연구의 값을 근거로 인용하는 것으로 충분하고, 본 연구에서 따로 검사-재검사를 하지 않는 경우도 많다. 어느 쪽인지는 지도교수와 학과의 기대에 따라 정하면 된다.
ICC에는 열 가지 형태가 있다
Koo와 Li(2016)는 Journal of Chiropractic Medicine 15권 2호(155–163쪽)에서 ICC의 형태가 열 가지라고 설명한다. 초록에 따르면 형태마다 계산의 가정이 다르고 해석이 달라지므로 연구자는 사용한 ICC의 형태를 명시해야 하며, 보고에는 소프트웨어 정보와 모형, 유형, 정의의 선택이 포함되어야 한다. 서지는 Crossref에서, 초록은 Europe PMC에서 확인했다. 열 가지 형태는 세 가지 선택의 조합으로 만들어진다.
- 모형(model): 일원 무작위, 이원 무작위, 이원 혼합의 세 가지다. 측정자가 모든 대상을 측정하는지, 측정자를 무작위로 뽑은 표본으로 볼지 고정된 대상으로 볼지에 따라 달라진다.
- 유형(type): 한 번의 측정값을 기준으로 하는 개별 측정값과, 여러 번 측정값의 평균을 기준으로 하는 평균 측정값이 있다.
- 정의(definition): 일관성과 절대적 일치가 있다. 일관성은 측정값 사이의 순위나 선형 관계를 보고, 절대적 일치는 값 자체가 얼마나 같은지를 본다.
이 세 가지 선택의 근거는 Shrout와 Fleiss(1979)가 Psychological Bulletin 86권 2호(420–428쪽)에서 정리한 급내상관의 분류와 McGraw와 Wong(1996)이 Psychological Methods 1권 1호(30–46쪽)에서 정리한 추론에 있다. 두 서지도 Crossref에서 확인했다. 어느 형태가 내 연구에 맞는지는 연구 설계에 따라 달라지므로 Koo와 Li의 선택 기준을 원문에서 직접 열어 확인하고 지도교수와 상의해 정한다. 이 글의 예시는 형식을 보여 주기 위한 것이며 정답이 아니다.
검사-재검사 설계를 먼저 정하기
계산보다 먼저 정해야 하는 것은 측정을 어떻게 반복할 것인가다. 설계가 부실하면 ICC가 아무리 높게 나와도 믿기 어렵다. 설계에서 정할 것은 네 가지다.
- 재검사 간격: 측정하려는 특성이 안정적일 만큼은 짧아야 하고, 첫 측정의 기억이나 학습 효과가 사라질 만큼은 길어야 한다. 정해진 일수는 없으므로 선행연구가 같은 도구에서 쓴 간격을 참고하고, 내가 정한 간격과 그 이유를 논문에 적는다.
- 대상자: 연구의 대상 집단과 같은 특성의 사람이어야 한다. 건강한 성인에서 얻은 신뢰도를 환자 집단에 그대로 적용하면 과대평가될 수 있으므로, 가능하면 내 연구 대상과 같은 집단에서 확인한다.
- 측정 조건의 통일: 측정 시간대, 환경, 자세, 측정자, 장비 설정, 직전 활동을 두 번 모두 같게 한다. 조건이 달라지면 신뢰도가 아니라 조건 차이를 재게 된다.
- 측정자의 눈가림: 두 번째 측정에서 측정자가 첫 번째 값을 알고 있으면 기대가 개입한다. 가능하면 이전 값을 가리고 측정한다.
대상자 수는 분석 방법과 기대하는 ICC 수준에 따라 달라지므로 일률적으로 제시할 수 없다. 표본 크기 계산 방법을 선행연구와 지침에서 확인하고 계산 근거를 연구방법 장에 적는다. 환자 대상 측정에는 연구윤리심의가 필요한 경우가 많으므로 반복 측정 일정까지 포함해 승인을 받아 두어야 한다. 물리치료 논문 전체의 자료 출처와 데이터베이스는 물리치료학 논문 저널·데이터베이스 가이드에서 정리했다.
SPSS에서 ICC를 계산하는 절차
데이터는 한 줄이 한 사람이 되도록 정리하고, 첫 번째 측정값과 두 번째 측정값을 서로 다른 열에 둔다. 예를 들어 첫 번째 열이 1차 측정, 두 번째 열이 2차 측정이다. 그다음 SPSS의 신뢰도 분석 기능에서 두 측정값 열을 분석 대상으로 옮기고, 통계량 옵션에서 급내상관계수를 선택한 뒤 Koo와 Li가 말하는 모형과 정의에 해당하는 선택지를 고른다. 메뉴의 위치, 선택지의 이름, 출력 표의 줄 이름은 SPSS 버전과 언어 설정에 따라 다르게 표시될 수 있으므로, 이 글에서 메뉴 경로를 단정하지 않는다. 사용하는 버전의 화면과 도움말에서 각 선택지가 모형, 유형, 정의 중 무엇에 해당하는지 직접 확인하고 논문에는 그 선택을 Koo와 Li의 용어로 적는다.
출력에는 보통 한 번 측정한 값을 기준으로 한 결과와 여러 번 측정한 평균을 기준으로 한 결과가 따로 제시되고, 각각에 급내상관계수와 95% 신뢰구간이 붙는다. 내 연구의 본 분석에서 한 번 측정한 값을 쓴다면 개별 측정값에 해당하는 결과를 읽어야 한다. 이 선택이 틀리면 ICC가 실제보다 높게 보고될 수 있으므로 어느 결과를 읽었는지를 논문에 쓰는 것이 중요하다. R이나 다른 통계 프로그램을 쓰는 경우에도 같은 세 가지 선택이 있으므로, 소프트웨어 이름과 버전, 사용한 함수나 메뉴를 함께 적어 두면 다른 사람이 같은 계산을 재현할 수 있다.
ICC 값은 신뢰구간으로 해석한다
ICC 값을 해석할 때 흔한 실수는 점추정값만 보고 판단하는 것이다. Koo와 Li(2016)의 초록은 ICC 추정값의 95% 신뢰구간을 기준으로 값이 0.5 미만이면 낮음, 0.5 이상 0.75 미만이면 보통, 0.75 이상 0.9 미만이면 좋음, 0.90 초과이면 우수한 신뢰도를 나타낸다고 제안한다. 이 기준은 점추정값이 아니라 신뢰구간에 적용하는 것이 요점이다. 점추정값이 0.91이어도 신뢰구간이 0.80에서 0.96까지 걸쳐 있다면 좋음에서 우수 사이로 해석하고, 보수적으로 말할 때는 하한이 속한 좋음 수준으로 서술한다.
아래 표는 해석 방식을 보여 주기 위한 가상의 결과다. 실제 논문에서는 본인의 자료에서 나온 값으로 채워야 한다.
| 측정 항목(가상) | ICC | 95% 신뢰구간 | 해석(신뢰구간 기준) |
|---|---|---|---|
| 악력(kg) | 0.91 | 0.80–0.96 | 좋음에서 우수 사이, 보수적으로는 좋음(하한 0.80) |
| 어깨 관절가동범위(도) | 0.84 | 0.62–0.93 | 보통에서 우수 사이, 보수적으로는 보통(하한 0.62) |
| 균형 점수 | 0.72 | 0.38–0.88 | 낮음에서 좋음까지 걸쳐 불확실(하한 0.38) |
이 표의 세 번째 줄처럼 신뢰구간이 넓게 걸쳐 있는 경우는 표본 크기가 작아서 추정이 불안정하다는 뜻이다. 이때는 점추정값만 보고 “보통 수준의 신뢰도를 보였다”고 쓰기보다, 신뢰구간이 넓다는 사실과 표본이 작다는 한계를 함께 서술하는 것이 정직하다. 같은 점수라도 신뢰구간이 좁으면 확신 있게, 넓으면 조심스럽게 쓴다.
ICC만으로는 부족하다: 측정의 표준오차와 최소 검출 변화량
ICC는 집단 내 변동에 비해 측정 오차가 얼마나 작은지를 보여 주는 상대적 지표다. 그래서 대상자들이 서로 매우 다른 집단에서는 오차가 같아도 ICC가 높게 나오고, 서로 비슷한 집단에서는 낮게 나온다. 임상에서 “이 값이 몇 이상 변하면 실제 변화로 볼 수 있는가”를 알려면 측정 단위로 표현되는 오차가 필요하다. Weir(2005)는 Journal of Strength and Conditioning Research 19권 1호에서 ICC와 측정의 표준오차(SEM)를 함께 써서 검사-재검사 신뢰도를 정량화하는 방법을 다룬다. 서지는 Crossref에서 확인했다.
흔히 쓰는 계산식은 다음과 같다. 측정의 표준오차는 집단의 표준편차에 1에서 ICC를 뺀 값의 제곱근을 곱한 것이고, 95% 신뢰수준의 최소 검출 변화량은 1.96에 2의 제곱근과 표준오차를 곱한 것이다. 이 식은 신뢰도 연구에서 널리 쓰이는 형태이며, 실제 논문에서는 사용한 식과 출처를 명시해야 한다. 아래는 계산이 어떻게 되는지 보여 주기 위한 가상의 숫자 예시다.
- 가정: 악력 측정값의 표준편차가 4.0kg이고 ICC가 0.90이라고 하자.
- 측정의 표준오차: 4.0 × √(1 − 0.90) = 4.0 × 0.316 ≈ 1.26kg
- 최소 검출 변화량(95%): 1.96 × √2 × 1.26 ≈ 3.51kg
이 가상 예시에서 최소 검출 변화량이 약 3.5kg이므로, 중재 전후 악력의 변화가 3.5kg보다 작다면 측정 오차의 범위 안에 있다고 해석할 수 있다. 이렇게 결과를 해석하면 통계적으로는 유의했지만 측정 오차 수준에 불과한 변화를 과장하는 실수를 피할 수 있다. 중재 전후 효과의 해석과 최소 임상적 중요 차이는 물리치료 논문의 결과 고찰에서 별도로 다루는 주제이며, 이 글에서는 신뢰도 쪽에 한정한다.
보고 문장은 이렇게 쓴다
ICC를 보고할 때는 형태와 소프트웨어, 신뢰구간이 모두 들어가야 한다. Koo와 Li(2016)가 권하는 보고 항목은 소프트웨어 정보와 모형, 유형, 정의다. 아래는 형식을 보여 주기 위한 가상의 보고 문장이다. 괄호 안의 형태와 값은 본인의 선택과 결과로 바꾸어야 한다.
검사-재검사 신뢰도는 같은 대상자 20명을 7일 간격으로 두 번 측정하여 급내상관계수로 확인하였다. ICC는 SPSS(버전 명시)를 이용해 이원 혼합 모형, 개별 측정값, 절대적 일치의 형태로 계산하였으며, 악력의 ICC는 0.91(95% 신뢰구간 0.80–0.96)로 좋음에서 우수 수준의 신뢰도를 보였다(Koo & Li, 2016의 기준).
이 문장에는 대상자 수, 간격, 소프트웨어, 형태, 값, 신뢰구간, 해석 기준의 출처가 모두 들어 있다. 위의 숫자와 형태는 가상이므로 그대로 쓰면 안 된다. 연구방법 장에는 신뢰도 확인의 절차를, 결과 장에는 값을 쓰고, 해석 기준은 인용한 문헌의 기준을 따른다고 밝힌다. 설문 도구의 타당도를 전문가 평가로 확인하는 절차는 전문가 타당도 CVR·CVI 보고법에, 영역이 여러 개인 도구의 타당도 검토는 삶의 질 논문 측정도구 가이드에 정리되어 있다.
흔한 오류 여섯 가지
- 피어슨 상관계수로 대체한다: 두 측정의 선형 관계만 보므로 두 번째 측정이 일정하게 높아지는 체계적 차이를 놓친다.
- ICC의 형태를 쓰지 않는다: 형태에 따라 값이 달라지므로 모형, 유형, 정의를 반드시 적는다.
- 신뢰구간 없이 점추정값만 쓴다: 해석 기준은 신뢰구간에 적용하는 것이 요점이다.
- 개별 측정값과 평균 측정값을 혼동한다: 본 분석에서 한 번 측정한 값을 쓴다면 개별 측정값을 읽어야 한다.
- 재검사 간격과 조건을 쓰지 않는다: 간격과 측정 조건이 없으면 신뢰도의 의미를 판단할 수 없다.
- ICC 하나로 결론을 낸다: 임상적 해석이 필요하면 측정의 표준오차와 최소 검출 변화량을 함께 제시한다.
자주 묻는 질문
Q1. 검사-재검사 신뢰도를 피어슨 상관계수로 구해도 되나요?
피어슨 상관계수는 두 측정의 선형 관계만 보므로 두 번째 측정이 일정하게 높거나 낮아지는 체계적 차이를 놓칩니다. 절대적 일치를 반영하는 ICC를 쓰고 형태를 함께 보고하는 것이 일반적입니다.
Q2. ICC가 0.9 이상이면 항상 우수한가요?
점추정값이 아니라 95% 신뢰구간을 기준으로 해석하는 것이 권장됩니다. 점추정값이 높아도 신뢰구간의 하한이 낮으면 신뢰도가 우수하다고 단정하기 어렵습니다.
Q3. 재검사 간격은 며칠이 적당한가요?
정해진 일수는 없고, 측정하는 특성이 얼마나 안정적인지와 학습이나 피로의 영향이 얼마나 남는지에 따라 달라집니다. 선행연구의 간격을 참고해 정하고 논문에 간격과 이유를 적습니다.
Q4. SPSS에서 ICC 형태는 무엇을 골라야 하나요?
연구 설계에서 측정자와 측정 조건을 어떻게 볼지에 따라 모형과 유형과 정의를 정합니다. 지침의 선택 기준을 따라 정하고, 선택한 형태를 논문에 명시해야 합니다.
Q5. ICC만 보고해도 충분한가요?
ICC는 집단 내 변동에 비해 측정 오차가 얼마나 작은지를 보여 주고, 측정의 표준오차는 측정값 단위로 오차의 크기를 보여 줍니다. 임상이나 현장 해석이 중요하면 두 가지를 함께 보고하는 편이 좋습니다.
검사-재검사 신뢰도 점검표
- 재검사 간격과 그 이유를 정했고 선행연구와 비교했는가
- 대상자가 연구 대상 집단과 같은 특성인가
- 측정 시간대, 자세, 장비, 측정자를 두 번 모두 통일했는가
- ICC의 모형, 유형, 정의와 소프트웨어를 모두 적었는가
- 출력에서 개별 측정값에 해당하는 결과를 읽었는가
- 95% 신뢰구간을 보고하고 구간이 걸친 범주로 해석했는가
- 측정의 표준오차와 최소 검출 변화량을 함께 제시했는가
측정 연구의 구조를 잡는 단계에서 Tesify를 쓰는 방법
연구방법 장의 구조와 신뢰도 보고의 위치를 잡는 단계에서는 Tesify를 활용할 수 있다. 9,000명 이상의 학생이 Tesify와 함께 15,000개 이상의 챕터를 작성했으며, Tesify는 구조를 잡도록 도울 뿐 글은 100% 본인이 직접 쓴다. 측정값과 ICC 결과는 본인의 자료에서 직접 계산한 값으로 채워야 한다.
정리
물리치료·체육 논문의 검사-재검사 신뢰도는 같은 대상을 같은 조건에서 시간을 두고 두 번 측정한 뒤 ICC로 확인한다. ICC는 모형, 유형, 정의의 세 선택으로 형태가 갈리므로 내 설계에 맞는 형태를 정해 명시하고, 해석은 점추정값이 아니라 95% 신뢰구간을 기준으로 한다. 임상적 해석이 필요하면 측정의 표준오차와 최소 검출 변화량을 함께 제시하고, 간격과 측정 조건과 소프트웨어까지 보고하면 측정의 신뢰도를 방어할 수 있다.