중재 프로그램을 만들어 놓고 학교나 병원 현장에 들어가 보면 곧바로 부딪히는 벽이 있다. 대상자를 무작위로 두 집단에 나눌 수가 없다. 한 반 전체가 프로그램을 받고, 옆 반이 받지 않는다. 병동 단위로 배정이 정해져 있다. 이때 “무작위 배정을 못 했으니 인과는 못 말한다”고 물러설 필요는 없다. 그 상황을 위해 만들어진 설계가 준실험설계(Quasi-experimental Design)이며, 핵심은 인과를 포기하는 것이 아니라 대안 설명을 하나씩 배제해 나가는 것이다.
이 글은 준실험설계를 세 부분으로 나눈다. (가) 언제 이 설계를 고르는가, (나) 유형을 어떻게 고르고 타당도 위협을 어떻게 막는가, (다) 논문의 연구방법·결과·고찰에 각각 무엇을 쓰는가. 세 번째 부분에서 대부분의 원고가 무너진다.
진실험·준실험·전실험을 가르는 단 하나의 기준
세 갈래를 나누는 기준은 딱 두 가지, 무작위 배정과 통제집단이다.
- 진실험설계(true experimental) — 무작위 배정 있음, 통제집단 있음. 내적 타당도가 가장 강하다.
- 준실험설계(quasi-experimental) — 무작위 배정 없음, 그러나 비교 장치(통제집단이나 반복 관찰)는 있음.
- 전실험설계(pre-experimental) — 무작위 배정도 없고 제대로 된 비교 장치도 없음. 단일집단 사후검사 설계, 단일집단 사전사후 설계가 여기 속한다. 인과 주장을 지탱하지 못한다.
Campbell과 Stanley 이래 널리 쓰이는 표기법을 익혀 두면 설계를 한 줄로 적을 수 있다. R은 무작위 배정, X는 처치, O는 관찰(측정)이다. 예를 들어 비동등 통제집단 사전사후 설계는 위 줄이 O₁ X O₂, 아래 줄이 O₁ O₂이며 앞에 R이 없다. 이 표기를 논문 연구방법 절에 그림으로 넣으면 심사위원이 설계를 3초 만에 파악한다. 양적 설계 전반의 갈래는 양적 연구 방법의 개념과 분석 흐름에서 정리한 지도와 함께 보면 위치가 분명해진다.
(가) 언제 준실험설계를 고르는가
이 설계가 맞는 상황
- 배정 단위가 이미 정해져 있을 때 — 학급, 병동, 부서, 지역처럼 개인 단위로 쪼갤 수 없는 집단이 분석 단위인 경우.
- 윤리적으로 처치를 보류할 수 없을 때 — 효과가 알려진 중재를 무작위로 뺏을 수 없는 상황.
- 이미 시행된 정책·제도의 효과를 사후에 평가할 때 — 연구자가 배정에 개입할 수 없었던 경우.
- 참여자가 스스로 프로그램을 선택할 때 — 자발적 신청자를 무작위로 되돌릴 수 없는 경우.
간호·교육·사회복지 분야의 프로그램 효과 연구는 사실상 대부분이 여기에 해당한다. 실제로 간호학 연구방법에서 다루는 중재연구 설계 상당수가 비동등 통제집단 사전사후 설계로 수행된다.
이 설계를 고르면 안 되는 경우
- 무작위 배정이 가능한데도 편의를 위해 포기하는 경우 — 가능하다면 진실험이 항상 낫다. 배정이 가능했는데 하지 않았다면 그 자체가 지적 사항이다.
- 인과가 아니라 관계를 묻는 경우 — 변수 간 관계나 예측을 묻는다면 조사연구와 회귀 계열 분석이 맞다. 무엇을 묻고 있는지는 연구 설계 유형과 선택 기준을 먼저 확인하면 정리된다.
- 비교집단을 어떤 방식으로도 만들 수 없는 경우 — 이때는 설계를 바꾸기 전에 관찰 시점을 늘려 시계열로 갈 수 있는지부터 검토한다.
(나) 절차: 유형 선택에서 분석까지
1단계: 다섯 가지 유형 중에서 고른다
① 단일집단 사전사후 설계(O₁ X O₂). 비교할 대상이 없어 역사·성숙·검사 효과를 배제하지 못한다. 전실험설계로 분류되며, 학위논문에서는 단독으로 쓰기 어렵다.
② 비동등 통제집단 사전사후 설계(NEGD). 국내 중재연구의 표준형이다. 두 집단 모두 사전·사후를 측정하되 배정이 무작위가 아니다. 사전점수로 집단 차이를 부분적으로 통제할 수 있다는 점이 최대 장점이며, 남는 위협은 선발과 성숙의 상호작용이다.
③ 이중 사전검사 설계(O₁ O₂ X O₃). 사전검사를 두 시점에서 실시해 처치 이전의 변화 추세를 확인한다. 두 집단의 사전 추세가 평행했다면 선발-성숙 상호작용을 상당히 배제할 수 있다. 비용 대비 타당도 향상 폭이 가장 큰 장치이므로 가능하면 반드시 넣기를 권한다.
④ 단절적 시계열 설계. 처치 전후로 여러 시점을 관찰한다(O O O X O O O). 처치 시점에서 수준(level)이 튀는지, 기울기(slope)가 꺾이는지를 본다. 정책 평가와 병원 지표 개선 연구에 강하다. 관찰 시점이 처치 전후 각각 최소 세 번 이상은 있어야 해석이 가능하다.
⑤ 회귀불연속 설계. 사전 점수의 절단점을 기준으로 처치 여부가 결정될 때 쓴다. 장학금 커트라인, 선별 기준 점수처럼 배정 규칙이 명시적이고 완전히 지켜졌다면, 절단점 근처에서는 무작위 배정에 준하는 추론이 가능하다. 준실험설계 중 내적 타당도가 가장 높은 축에 속한다.
2단계: 내적 타당도 위협 여덟 가지를 점검한다
- 역사(history) — 처치 기간에 일어난 외부 사건. 통제집단을 같은 시기에 관찰하면 상당 부분 통제된다.
- 성숙(maturation) — 시간 경과에 따른 자연적 변화. 이중 사전검사로 추세를 확인한다.
- 검사(testing) — 사전검사 경험이 사후 점수에 미치는 영향. 두 집단 모두 사전검사를 받으면 효과가 상쇄된다.
- 도구(instrumentation) — 측정 도구나 관찰자가 바뀌는 것. 관찰자 훈련과 동일 도구 사용을 기록한다.
- 통계적 회귀(regression to the mean) — 극단 점수 집단을 뽑았을 때 평균으로 되돌아가는 현상. 사전 점수 하위 집단만 뽑아 프로그램을 돌리는 국내 연구에서 매우 흔한 함정이다.
- 선발(selection) — 두 집단이 애초에 다른 것. 준실험설계의 주적이다.
- 탈락(attrition) — 중도 탈락자가 집단별로 다르게 발생하는 것. 탈락률과 탈락자 특성 비교를 반드시 보고한다.
- 선발과 다른 위협의 상호작용 — 특히 선발-성숙 상호작용. 두 집단의 변화 속도가 원래 달랐을 가능성이다.
3단계: 집단 동질성을 확보하고 검증한다
설계 단계에서는 짝짓기(matching), 동일 학년·동일 병동 선정, 성향점수매칭 같은 장치로 두 집단을 최대한 닮게 만든다. 분석 단계에서는 인구사회학적 특성과 종속변수의 사전 점수에 대해 집단 간 차이를 검정하고, 유의한 차이가 있는 변수는 이후 분석에서 공변량으로 통제한다. 여기서 흔한 오해가 있다. 사전 동질성 검정이 유의하지 않았다는 것은 차이가 없음을 증명한 것이 아니라 차이를 발견하지 못한 것이다. 표본이 작으면 검정력이 낮아 웬만한 차이도 잡히지 않는다. 따라서 유의성만 보고할 것이 아니라 실제 평균 차이의 크기를 함께 제시해야 한다.
4단계: 처치 충실도를 기록한다
준실험설계 논문에서 가장 자주 비어 있는 칸이 처치 충실도(treatment fidelity)다. 프로그램이 계획대로 제공되었는지, 회기별 출석률은 얼마였는지, 진행자가 매뉴얼을 얼마나 지켰는지를 기록해야 한다. 통제집단이 무엇을 받았는지도 명시해야 한다. “아무것도 하지 않았다”인지 “기존의 통상적 프로그램을 받았다”인지에 따라 결과의 의미가 완전히 달라지기 때문이다. 개인 수준의 처치 조작과 변인 통제를 어떻게 문서화하는지는 심리학 논문 실험 설계 튜토리얼의 절차를 참고하면 구체적으로 잡힌다.
5단계: 분석 방법을 고른다
비동등 통제집단 사전사후 설계에서 선택지는 셋이다.
- 공분산분석(ANCOVA) — 사전점수를 공변량으로 투입하고 사후점수를 비교한다. 국내 학위논문의 표준이다. 회귀선 기울기의 동일성 가정을 먼저 검정해야 하며, 집단과 사전점수의 상호작용이 유의하면 공분산분석을 쓸 수 없다.
- 이득점수(사후−사전) 비교 — 계산은 쉽지만 신뢰도가 낮고, 사전점수가 낮은 집단이 유리해지는 편향이 생긴다.
- 반복측정 분산분석 — 시점과 집단의 상호작용 효과로 중재 효과를 본다. 시점이 셋 이상(추후검사 포함)일 때 특히 유용하며, 구형성 가정 위배 시 자유도 보정을 적용한다.
어느 쪽이든 효과크기를 반드시 함께 보고한다. 두 집단 비교면 Cohen’s d, 분산분석 계열이면 부분 에타제곱을 쓴다. 유의확률만 있는 결과표는 표본 크기에 따라 얼마든지 달라지므로 그 자체로는 효과의 크기를 말해 주지 못한다. 어떤 검정을 어떤 순서로 돌릴지는 논문 통계 분석 기법 선택과 결과 해석의 결정 흐름을 따르면 된다.
(다) 논문에 어떻게 보고하는가
연구방법 장에 들어갈 일곱 가지
- 설계 명칭과 표기 도식(R·X·O 표기 그림)
- 무작위 배정을 하지 못한 구체적 이유
- 집단 배정 방식(어떤 단위로, 누가, 무슨 기준으로)
- 표본 크기 산출 근거(검정 방법, 유의수준, 검정력, 기대 효과크기)
- 중재의 구성·회기·기간·진행자 자격, 통제집단이 받은 것
- 측정 도구와 신뢰도, 측정 시점
- 내적 타당도 위협에 대한 통제 전략(설계상의 장치와 통계적 통제를 구분해서)
네 번째 항목이 특히 자주 빠진다. 무작위 배정을 안 했다고 표본 크기 산출까지 면제되는 것이 아니다. 가설과 검정을 어떻게 연결해 진술하는지는 연구 가설 설정과 검정 연결하기에서 정리한 문장 구조를 그대로 쓰면 된다.
연구결과 장에 들어갈 것
- 대상자 흐름 — 모집 인원, 배정 인원, 탈락 인원과 사유, 최종 분석 인원. 흐름도로 제시하면 가장 명확하다.
- 사전 동질성 검정 결과 — 인구사회학적 특성과 종속변수 사전 점수. 평균과 표준편차, 검정통계량, 유의확률을 모두 제시한다.
- 가정 검정 결과 — 정규성, 등분산성, 그리고 공분산분석이라면 회귀선 기울기 동일성.
- 주 분석 결과 — 조정평균(공분산분석의 경우), 검정통계량, 자유도, 유의확률, 효과크기, 신뢰구간.
고찰의 한계 절에 반드시 쓸 문장
준실험설계 논문의 고찰에는 배제하지 못한 위협을 이름으로 적고, 그것이 결과를 어느 방향으로 왜곡했을지까지 쓰는 것이 정석이다. “일반화에 한계가 있다”는 상투구는 아무 정보도 주지 않는다. 위협의 이름과 방향을 함께 쓰면 오히려 연구자가 설계를 이해하고 있다는 신호가 된다.
바로 쓸 수 있는 모범 문장
본 연구는 비동등 통제집단 사전사후 설계(nonequivalent control group pretest-posttest design)를 적용한 준실험연구이다. 연구 대상 기관의 운영 여건상 개인 단위 무작위 배정이 불가능하여, 동일 병원 내 근무 환경이 유사한 두 병동을 각각 실험군과 대조군으로 배정하였다. 확산 효과를 줄이기 위해 두 병동은 서로 다른 층에 위치한 곳으로 선정하였다.
표본 크기는 G*Power를 이용하여 산출하였다. 독립표본 t-검정, 유의수준 .05, 검정력 .80, 선행연구에서 보고된 효과크기 d = 0.80을 적용한 결과 집단당 26명이 필요하였으며, 탈락률 20%를 고려하여 집단당 32명을 모집하였다.
중재는 주 1회 60분씩 총 6회기로 구성하였고, 매 회기 진행 후 체크리스트로 매뉴얼 준수 여부를 확인하여 충실도를 점검하였다. 대조군은 기존의 통상적 부서 교육을 그대로 제공받았다.
자료 분석은 다음과 같이 수행하였다. 두 집단의 일반적 특성과 종속변수 사전 점수의 동질성은 카이제곱 검정과 독립표본 t-검정으로 확인하였다. 사전 점수에서 유의한 차이가 나타난 변수를 공변량으로 투입하고, 회귀선 기울기의 동일성 가정을 검정한 뒤 공분산분석을 실시하였다. 효과크기는 부분 에타제곱으로 제시하였다.
본 연구는 무작위 배정이 이루어지지 않아 선발 요인을 완전히 배제하지 못하였다. 특히 실험군 병동의 평균 근속연수가 대조군보다 짧아, 관찰된 효과 일부가 집단의 변화 속도 차이, 즉 선발과 성숙의 상호작용에 기인했을 가능성을 배제할 수 없다.
심사에서 반복해서 걸리는 다섯 가지
- 설계 명칭이 본문과 표기 도식에서 어긋난다 — 비동등 통제집단이라고 써 놓고 도식에 R이 그려져 있다.
- 무작위 배정을 못 한 이유가 없다 — 이유를 쓰지 않으면 ‘안 한 것’과 ‘못 한 것’이 구분되지 않는다.
- 사전 동질성 검정 결과만 있고 후속 처리가 없다 — 차이가 있었는데 공변량으로 넣지 않았다.
- 공분산분석의 기울기 동일성 가정을 검정하지 않았다 — 가장 자주 빠지는 전제 검정이다.
- 효과크기가 없다 — 유의확률만 있는 결과표는 실용적 의미를 말해 주지 못한다.
자주 묻는 질문
준실험설계로도 인과관계를 주장할 수 있나요?
주장할 수 있지만 조건이 붙습니다. 무작위 배정이 없으므로 선발 요인을 비롯한 대안 설명을 하나씩 배제해 보여야 합니다. 이중 사전검사, 비동등 종속변수, 다중 통제집단, 시계열 관찰 같은 설계 장치로 대안 설명을 좁히고, 남은 위협은 고찰의 한계에서 방향까지 함께 논해야 합니다. 인과를 단정하는 대신 대안 설명을 얼마나 배제했는지를 근거로 제시하는 것이 준실험설계의 논증 방식입니다.
통제집단 없이 단일집단 사전사후 설계만 써도 되나요?
권장되지 않습니다. 단일집단 사전사후 설계는 역사·성숙·검사·통계적 회귀를 전혀 배제하지 못해 전실험설계로 분류됩니다. 통제집단을 도저히 구할 수 없다면 사전검사를 두 시점에서 실시하거나 관찰 시점을 여러 번으로 늘려 단절적 시계열에 가깝게 만들고, 그 한계를 고찰에 명시해야 합니다.
사전점수 차이는 공분산분석과 이득점수 중 무엇으로 처리하나요?
비동등 통제집단 설계에서는 사전점수를 공변량으로 넣는 공분산분석이 표준입니다. 다만 회귀선 기울기 동일성 가정이 충족되어야 하며, 집단이 처음부터 다른 모집단에서 왔다면 공분산분석의 보정이 오히려 결과를 왜곡할 수 있다는 지적이 오래전부터 있었습니다. 사전점수 차이가 크고 그 차이가 체계적이라면 성향점수매칭 같은 방법을 함께 검토하는 편이 안전합니다.
준실험설계 논문에도 표본 크기 산출이 필요한가요?
필요합니다. 무작위 배정 여부와 검정력 계산은 별개 문제입니다. 검정 방법, 유의수준, 검정력, 선행연구에서 가져온 기대 효과크기를 명시하고 산출 결과를 연구방법 절에 적어야 합니다. 산출값보다 실제 표본이 작다면 그 사실과 그로 인한 검정력 부족을 고찰의 한계에 적는 것이 정직한 처리입니다.
정리
준실험설계는 “무작위 배정을 못 한 실험”이 아니라 “무작위 배정 없이 대안 설명을 배제하도록 설계된 연구”다. 이 차이가 논문의 격을 결정한다. 배정 방식과 그 이유를 명시하고, 이중 사전검사나 관찰 시점 확대처럼 비용이 적으면서 타당도를 크게 올리는 장치를 미리 넣고, 처치 충실도를 기록하고, 사전 동질성 검정 결과를 후속 분석에 실제로 반영하면 된다. 그러고도 남는 위협은 감추지 말고 이름과 방향을 적는다. 그 문단이 있는 논문과 없는 논문의 차이는 심사장에서 곧바로 드러난다.