학교 30곳에서 학생 900명의 자료를 모았다. 그런데 같은 학교 학생들은 같은 교사, 같은 학교 분위기, 같은 지역을 공유한다. 즉 서로 독립이 아니다. 이 자료를 900명짜리 하나의 표본으로 보고 일반 회귀분석을 돌리면 표준오차가 실제보다 작게 추정되고, 그 결과 존재하지 않는 효과가 유의하게 나온다. 이 문제를 정면으로 다루는 분석이 다층모형(multilevel model), 국내 논문에서는 흔히 위계선형모형(Hierarchical Linear Model, HLM)이라 부르는 방법이다.
이 글은 다층모형을 세 부분으로 정리한다. (가) 언제 이 모형을 고르는가, (나) 어떤 순서로 모형을 쌓아 올리는가, (다) 논문의 연구방법과 결과 표에 무엇을 어떻게 쓰는가. 수식보다 결정과 보고에 초점을 둔다.
왜 일반 회귀로는 안 되는가
회귀분석은 관측치가 서로 독립이라는 가정 위에 서 있다. 위계적으로 수집된 자료는 이 가정을 정면으로 위반한다. 위반의 크기는 급내상관계수(intraclass correlation coefficient, ICC)로 측정한다. 종속변수의 전체 분산 중 집단 간 차이가 차지하는 비율이며, ICC가 .15라면 성적 변량의 15%가 ‘어느 학교에 다니는가’로 설명된다는 뜻이다.
실무적으로 더 유용한 지표는 설계효과(design effect)다. 대략 1 + (집단당 평균 사례 수 − 1) × ICC로 계산하며, 이 값이 2를 넘으면 일반 회귀의 표준오차를 그대로 믿을 수 없다고 본다. 집단당 30명씩 묶여 있다면 ICC가 .05만 되어도 설계효과가 2를 넘는다. ICC가 작다고 안심할 수 없는 이유가 여기에 있다.
독립성 위배를 무시했을 때 무슨 일이 벌어지는지는 방향이 정해져 있다. 표준오차가 작아지고, t값이 커지고, 유의확률이 작아진다. 즉 오류는 보수적인 쪽이 아니라 관대한 쪽으로 발생한다. 없는 효과를 있다고 결론 내리는 1종 오류가 늘어나는 것이며, 이것이 자료 구조를 무시한 분석이 특히 위험한 이유다. 반대로 다층모형은 집단 간 차이를 별도의 분산 성분으로 떼어 내기 때문에 표준오차가 정직해진다. 계수가 유의하지 않게 바뀌는 일이 흔한데, 이는 분석이 잘못된 것이 아니라 원래 유의하지 않았던 것이 드러난 것이다.
(가) 언제 다층모형을 고르는가
이 모형이 맞는 자료 구조
- 개인이 집단에 내포된 자료 — 학생이 학급에, 직원이 부서에, 환자가 병원에, 주민이 지역에 묶인 경우.
- 반복 측정 자료 — 한 사람에게서 여러 시점의 관찰을 얻은 경우. 이때는 측정 시점이 1수준, 개인이 2수준이 된다. 이 형태를 특히 성장모형이라 부르며, 시점 간격이 사람마다 달라도 분석할 수 있다는 점이 반복측정 분산분석보다 유리하다. 시간을 다루는 설계 전반은 종단연구와 횡단연구의 설계 차이를 함께 보면 정리된다.
- 3수준 이상의 자료 — 학생-학급-학교처럼 층이 셋인 경우도 같은 원리로 확장한다. 다만 층을 하나 올릴 때마다 최상위 층의 표본 수가 급격히 줄어드는 것이 현실이므로, 3수준을 쓸지 2수준으로 접을지는 최상위 층의 집단 수를 세어 보고 결정해야 한다.
- 공공 마이크로데이터 2차분석 — 국내에서 다층모형이 가장 많이 쓰이는 무대다. 패널 자료나 대규모 실태조사는 대부분 층화·집락 표본이라 구조 자체가 위계적이다. 원자료 신청 절차는 공공 마이크로데이터 2차분석 튜토리얼에 정리되어 있다.
다층모형이 답해 주는 질문
단순히 표준오차를 바로잡는 것이 전부가 아니다. 다층모형은 일반 회귀가 아예 물을 수 없는 세 가지 질문에 답한다.
- 분산 분해 — 결과의 차이는 개인에게서 오는가, 집단에서 오는가.
- 맥락 효과 — 개인의 특성을 통제하고도 집단의 특성이 결과에 영향을 주는가. 예를 들어 개인의 가정 배경을 통제해도 학교의 평균 사회경제적 지위가 성적에 영향을 주는가.
- 층간 상호작용(cross-level interaction) — 개인 수준 변수의 효과 크기가 집단에 따라 달라지는가. 예컨대 학습 시간이 성적에 미치는 영향이 학교 풍토에 따라 강해지거나 약해지는가.
세 번째는 사실상 조절효과를 층을 가로질러 검정하는 것이며, 다층모형의 가장 큰 매력이다.
이 모형을 고르면 안 되는 경우
- 2수준 집단 수가 너무 적을 때 — 집단이 10~15개뿐이라면 무선효과의 분산을 신뢰성 있게 추정하기 어렵다. 집단을 더미변수로 넣는 고정효과 접근이 더 안전할 수 있다.
- 집단을 표본이 아니라 모집단 자체로 볼 때 — 비교 대상 집단이 딱 세 개이고 그 세 개 자체가 관심사라면 무선효과가 아니라 고정효과로 다룬다.
- 잠재변수 구조가 핵심일 때 — 측정모형과 구조모형을 동시에 다뤄야 한다면 구조방정식모형(SEM)이나 다층 SEM으로 가는 편이 맞다.
(나) 절차: 네 개의 모형을 순서대로 쌓는다
1단계: 무조건모형으로 ICC를 확인한다
어떤 예측변수도 넣지 않고 절편만 있는 모형을 먼저 돌린다. 이 모형이 주는 것은 두 개의 분산 성분이다. 집단 간 분산(τ₀₀)과 집단 내 분산(σ²)이며, ICC는 τ₀₀ ÷ (τ₀₀ + σ²)로 계산한다. 관례상 ICC가 .05 이상이면 다층모형을 쓸 근거가 된다. 이 단계의 분산 성분은 이후 모든 모형의 기준선이 되므로 반드시 표에 남겨야 한다. 나중에 설명된 분산 비율을 계산할 때 분모가 되는 값이다.
2단계: 1수준 변수를 넣는다
개인 수준 예측변수를 투입한다. 이때 반드시 결정해야 하는 것이 중심화(centering)다. 국내 논문에서 가장 자주 얼버무리고 넘어가는 지점이며, 선택에 따라 계수의 의미가 완전히 달라진다.
- 중심화하지 않음 — 절편이 ‘모든 예측변수가 0일 때의 값’이 된다. 예측변수에 0이 실질적 의미가 없으면 절편이 해석 불가능해진다.
- 전체평균 중심화 — 전체 평균을 뺀다. 절편이 ‘평균적 개인의 기대값’이 되어 해석이 쉬워진다. 2수준 변수의 효과를 통제한 상태에서 1수준 변수의 전체 효과를 보고 싶을 때 쓴다.
- 집단평균 중심화 — 소속 집단의 평균을 뺀다. 개인 효과와 맥락 효과를 깨끗하게 분리할 수 있어, 맥락 효과를 주장하려면 사실상 필수다. 단 집단 평균 자체를 2수준 변수로 함께 투입해야 정보가 손실되지 않는다.
3단계: 2수준 변수를 넣는다
집단 수준 특성(학교 규모, 부서 분위기, 지역 자원)을 절편의 예측변수로 투입한다. 이 모형이 답하는 것은 “집단 간 평균 차이를 무엇이 설명하는가”이다. 여기서 얻는 계수가 곧 맥락 효과다. 개인 특성을 이미 통제했다면 학교의 평균 특성이 남은 영향을 갖는지가 이 단계에서 드러난다. 어떤 변수를 어느 층에 배치할지 헷갈린다면 독립·종속·매개·조절·통제변수의 구분과 조작적 정의를 다시 확인해 변수표부터 정리하는 편이 빠르다.
4단계: 무선기울기와 층간 상호작용을 넣는다
1수준 변수의 기울기가 집단마다 다를 수 있다고 설정하는 것이 무선기울기 모형이다. 순서가 중요하다. 기울기의 분산이 유의해야 그다음에 “무엇이 그 차이를 만드는가”를 물을 자격이 생긴다. 기울기 분산이 유의하지 않은데 층간 상호작용을 검정하는 것은 없는 차이를 설명하려는 시도다. 기울기 분산이 유의하면 2수준 변수를 기울기의 예측변수로 투입하며, 그 계수가 층간 상호작용 효과다. 상호작용이 유의하면 반드시 단순기울기 그림을 함께 제시해야 한다. 계수 하나만으로는 조절의 방향과 크기가 독자에게 전달되지 않기 때문이다.
모형 간 비교는 어떻게 하는가
내포된 모형끼리는 편차(deviance, −2 로그우도)의 차이를 자유도 차이만큼의 카이제곱 분포로 검정한다. 여기서 추정 방법이 걸린다. 고정효과가 다른 모형끼리 비교할 때는 최대우도(ML)로 추정해야 하고, 무선효과 구조만 다를 때는 제한최대우도(REML)를 써도 된다. REML로 추정한 모형끼리 고정효과 차이를 편차 검정으로 비교하는 것은 오류다. 설명된 분산은 각 모형의 분산 성분을 무조건모형의 분산 성분과 비교해 계산하며, 일반 회귀의 결정계수와 달리 층별로 따로 산출한다. 이때 1수준 변수를 넣었는데 집단 간 분산이 오히려 커지는 현상이 나타날 수 있는데, 이는 계산 오류가 아니라 다층모형에서 정상적으로 관찰되는 결과이므로 당황할 필요가 없다.
표본 크기: 집단당 인원보다 집단 수가 중요하다
널리 인용되는 시뮬레이션 연구에 따르면 2수준 집단이 50개 이하일 때 2수준 표준오차가 과소추정된다. 고정효과 추정만 목적이라면 30개 안팎으로도 큰 편향이 없지만, 무선효과의 분산과 유의성을 해석하려면 50개 이상을, 층간 상호작용을 검정하려면 100개 이상을 확보하는 편이 안전하다. 집단당 인원을 20명에서 40명으로 늘리는 것보다 집단을 30곳에서 60곳으로 늘리는 쪽이 검정력을 훨씬 크게 올린다. 자료 수집 계획 단계에서 이 사실을 알고 있어야 나중에 손쓸 수 있다.
(다) 논문에 어떻게 보고하는가
연구방법 절에 반드시 들어갈 것
- 자료의 위계 구조와 각 층의 표본 수(예: 학생 1,842명, 학교 63곳, 학교당 평균 29.2명)
- 다층모형을 선택한 근거로서의 ICC와 설계효과
- 모형 구축 순서(무조건모형 → 1수준 → 2수준 → 무선기울기·층간 상호작용)
- 중심화 방식과 그 선택 이유(변수별로 다르다면 변수별로 명시)
- 추정 방법(ML인지 REML인지)과 사용 소프트웨어·버전
- 결측치 처리 방식
결과 표는 하나로 만든다
다층모형 결과는 모형별로 표를 나누지 말고 한 표에 열로 나란히 배치하는 것이 표준이다. 행에는 고정효과(절편, 1수준 변수들, 2수준 변수들, 층간 상호작용항)와 무선효과(집단 간 분산, 집단 내 분산, 기울기 분산)를 두고, 열에 모형 1부터 모형 4까지를 배치한다. 각 칸에는 계수와 표준오차를 함께 적는다. 표 하단에는 모형별 편차, 추정 모수 개수, 그리고 무조건모형 대비 설명된 분산 비율을 넣는다. 이 한 장이 있으면 심사위원이 모형이 쌓여 가는 과정을 한눈에 따라올 수 있다.
바로 쓸 수 있는 모범 문장
본 연구의 자료는 학생이 학교에 내포된 2수준 위계 구조를 가진다. 최종 분석 대상은 63개교에 소속된 학생 1,842명이었으며, 학교당 평균 사례 수는 29.2명이었다.
분석에 앞서 어떠한 예측변수도 투입하지 않은 무조건모형을 추정하여 급내상관계수를 산출하였다. 그 결과 학교 간 분산이 전체 분산의 14.3%를 차지하여(ICC = .143), 학교 수준의 분산이 무시할 수 없는 수준임을 확인하였다. 설계효과는 5.03으로 단일수준 회귀분석의 표준오차가 상당히 과소추정될 것으로 판단되어 다층모형을 적용하였다.
모형은 네 단계로 구축하였다. 모형 1은 무조건모형, 모형 2는 학생 수준 변수를 투입한 무선절편 모형, 모형 3은 학교 수준 변수를 절편의 예측변수로 추가한 모형, 모형 4는 학습시간의 기울기를 무선으로 설정하고 학교 풍토를 그 기울기의 예측변수로 투입한 모형이다.
학생 수준 연속변수는 집단평균 중심화하였으며, 집단 평균값을 학교 수준 변수로 함께 투입하여 개인 효과와 맥락 효과를 분리하였다. 학교 수준 변수는 전체평균 중심화하였다. 고정효과를 포함하는 모형 간 비교를 위해 최대우도법으로 추정하였고, 분석에는 SPSS 29의 혼합모형 절차를 사용하였다.
모형 4에서 학습시간 기울기의 분산이 유의하여(τ₁₁ = .042, p < .01) 학습시간의 효과가 학교마다 다름을 확인하였으며, 학교 풍토와 학습시간의 층간 상호작용이 유의하게 나타났다(γ₁₁ = .118, SE = .041, p < .01). 이는 학교 풍토가 긍정적일수록 학습시간이 성취도에 미치는 효과가 커짐을 의미한다.
심사에서 자주 지적되는 다섯 가지
- ICC를 보고하지 않고 바로 다층모형을 돌린다 — 왜 다층이 필요했는지의 근거가 사라진다.
- 중심화 방식을 밝히지 않는다 — 계수의 의미가 결정되지 않아 해석 자체를 검증할 수 없다.
- 기울기 분산을 확인하지 않고 층간 상호작용부터 넣는다 — 설명할 차이가 있는지를 먼저 보여야 한다.
- REML로 추정해 놓고 고정효과 모형을 편차 검정으로 비교한다 — 통계적으로 성립하지 않는 비교다.
- 집단이 20개도 안 되는데 무선효과를 해석한다 — 분산 추정의 신뢰성이 확보되지 않는다.
자주 묻는 질문
ICC가 얼마부터 다층모형을 써야 하나요?
관례적으로 .05 이상이면 다층모형을 검토합니다. 다만 ICC 값 하나로 결정하기보다 설계효과를 함께 보는 편이 정확합니다. 집단당 평균 사례 수가 크면 ICC가 작아도 설계효과가 2를 넘어 표준오차가 상당히 왜곡되기 때문입니다. 또한 ICC가 작아도 자료가 위계적으로 수집되었다면 독립성 가정 위배는 그대로이므로, 다층모형으로 분석하고 무선효과가 유의하지 않았다는 사실을 보고하는 편이 안전합니다.
2수준 집단이 몇 개 있어야 하나요?
집단 수가 50개 이하이면 2수준 표준오차가 과소추정된다는 시뮬레이션 결과가 널리 인용됩니다. 고정효과 추정만 목적이면 30개 안팎으로도 큰 문제가 없지만, 무선효과의 분산과 그 표준오차를 해석하려면 50개 이상을 확보하는 편이 안전하고, 층간 상호작용을 검정하려면 100개 이상이 권장됩니다. 집단당 사례 수를 늘리는 것보다 집단 수를 늘리는 쪽이 검정력에 훨씬 효과적입니다.
전체평균 중심화와 집단평균 중심화 중 무엇을 써야 하나요?
묻는 질문에 따라 다릅니다. 개인 수준 효과와 맥락 효과를 분리해서 보고 싶다면 집단평균 중심화를 하고 집단 평균을 2수준 변수로 함께 투입해야 합니다. 층간 상호작용의 순수한 조절 효과를 보려는 경우에도 집단평균 중심화가 적합합니다. 반면 2수준 변수의 효과를 통제한 상태에서 1수준 변수의 전체 효과를 보고 싶다면 전체평균 중심화를 씁니다. 어느 쪽을 썼는지 논문에 반드시 명시해야 하며, 선택에 따라 계수의 의미가 달라집니다.
SPSS로도 다층모형을 돌릴 수 있나요?
가능합니다. SPSS의 혼합모형(MIXED) 절차가 선형혼합모형을 지원하며 무선절편과 무선기울기를 모두 지정할 수 있습니다. HLM 전용 소프트웨어나 R의 lme4 패키지, Mplus, Stata도 널리 쓰입니다. 어떤 도구를 쓰든 추정 방법(최대우도인지 제한최대우도인지)과 사용한 버전을 논문에 명시해야 합니다.
정리
다층모형의 진짜 어려움은 추정이 아니라 순서와 선언에 있다. 무조건모형에서 ICC를 확인하고, 중심화 방식을 정해 선언하고, 기울기 분산이 유의한지를 먼저 본 뒤에야 층간 상호작용을 묻는다. 이 순서를 지키고 모형 네 개를 한 표에 나란히 놓으면, 결과 해석이 아니라 설계 자체가 논문의 강점이 된다. 자료를 모으기 전에 집단을 몇 곳 확보할지 결정하는 것이 사실 가장 중요한 한 걸음이다.