지도교수에게 “선행연구를 체계적으로 정리해 보라”는 말을 듣고 검색을 시작했다가, 몇 주 뒤 심사에서 “이건 체계적 문헌고찰이 아니라 그냥 문헌 정리입니다”라는 답을 듣는 일이 드물지 않다. 두 작업을 가르는 것은 읽은 논문의 수가 아니라 절차가 사전에 고정되어 있었고 그 절차가 재현 가능하게 보고되었는가다. 그 재현 가능성을 담보하는 국제 표준이 PRISMA이며, 현재 통용되는 판은 2021년에 공표된 PRISMA 2020이다.
이 글은 체계적 문헌고찰(Systematic Review)을 세 부분으로 나누어 정리한다. (가) 언제 이 방법을 고르는가, (나) 절차는 무엇이며 각 단계에서 어떤 결정을 내려야 하는가, (다) PRISMA 2020의 27개 항목과 흐름도를 논문의 어느 절에 어떻게 쓰는가. 마지막 부분이 실제로 게재와 통과를 가른다.
서술적 고찰·스코핑 리뷰와 무엇이 다른가
문헌고찰이라는 이름을 공유하지만 설계가 전혀 다른 세 가지를 먼저 구분해야 한다.
- 서술적(전통적) 문헌고찰 — 검색 범위와 선정 기준을 사전에 고정하지 않는다. 저자의 전문성에 의존해 흐름을 정리하며, 학위논문 2장의 이론적 배경이 여기에 해당한다. 재현 가능성을 주장하지 않는다.
- 스코핑 리뷰 — 검색은 체계적으로 하되, 묻는 것은 효과가 아니라 지형이다. 어떤 연구가 얼마나, 어떤 방법으로 이루어졌고 어디가 비어 있는지를 본다. 질 평가를 요구하지 않는 것이 일반적이다. 자세한 설계 차이는 스코핑 리뷰의 설계 원리를 다룬 글에서 확인할 수 있다.
- 체계적 문헌고찰 — 좁게 정의된 질문에 대해 사전 등록된 프로토콜에 따라 모든 관련 연구를 찾아 평가하고 종합한다. 비뚤림 위험 평가와 근거 확실성 평가가 필수다.
즉 체계적 문헌고찰의 본질은 “많이 읽었다”가 아니라 “내가 무엇을 어떻게 찾았는지, 그리고 무엇을 왜 뺐는지를 남이 똑같이 재현할 수 있다”이다. 연구방법의 전체 지형 안에서 이 설계가 어디에 놓이는지는 질적·양적·혼합 연구 설계의 원리를 정리한 가이드와 함께 보면 위치가 분명해진다.
(가) 언제 체계적 문헌고찰을 고르는가
이 방법이 맞는 연구 질문
체계적 문헌고찰은 이미 축적된 1차 연구가 충분히 존재하고, 그 결과들이 서로 엇갈리는 영역에서 가장 큰 값을 낸다. 질문은 PICO 형식으로 분해할 수 있어야 한다.
- P(Population) 대상 — 예: 국내 종합병원 3년 미만 경력 간호사
- I(Intervention) 중재 — 예: 구조화된 멘토링 프로그램
- C(Comparison) 비교 — 예: 통상적 오리엔테이션
- O(Outcome) 결과 — 예: 이직 의도 점수
여기에 연구 설계를 더한 PICOS, 시점·환경을 더한 PICOTS를 쓰기도 한다. 중재 효과가 아니라 경험을 묻는 질적 근거 종합이라면 SPIDER(Sample, Phenomenon of Interest, Design, Evaluation, Research type) 틀이 더 잘 맞는다. 어떤 틀을 쓰든 네 요소가 모두 채워지지 않으면 아직 검색을 시작할 수 없다고 보아야 한다.
이 방법을 고르면 안 되는 경우
- 1차 연구가 다섯 편도 안 될 때 — 합성할 것이 없으면 고찰이 성립하지 않는다. 이때는 스코핑 리뷰나 서술적 고찰이 맞다.
- 질문이 아직 넓을 때 — “인공지능이 교육에 미치는 영향”은 체계적 문헌고찰의 질문이 아니다.
- 시간이 없을 때 — 표준 체계적 문헌고찰은 통상 6개월에서 1년 이상이 걸린다. 학기 하나로 끝낼 계획이라면 범위를 좁히거나 신속 고찰(rapid review)임을 명시해야 한다.
- 혼자 해야 할 때 — 선별과 추출은 2인 독립 수행이 표준이다. 제2평가자를 확보할 수 없다면 설계 자체를 다시 검토해야 한다.
(나) 절차: 여덟 단계와 각 단계의 결정
1단계: 질문 구조화
PICO 요소를 문장이 아니라 표로 확정한다. 각 요소마다 포함 기준과 배제 기준을 함께 적어야 한다. “성인”이 아니라 “만 19세 이상”, “최근”이 아니라 “2015년 1월 이후 발표”처럼 판정 가능한 문장으로 써야 두 명이 같은 결론에 도달한다. 결정 사항은 언어 제한, 출판 연도 범위, 회색문헌 포함 여부다.
2단계: 프로토콜 작성과 사전 등록
프로토콜은 질문, 선정 기준, 검색 전략, 선별 절차, 추출 항목, 질 평가 도구, 합성 계획을 담는다. 보건의료 분야라면 PROSPERO가 표준 등록처이고, 분야에 따라 OSF Registries를 쓰기도 한다. 등록의 목적은 결과를 보고 기준을 바꾸는 일을 원천적으로 막는 것이다. 등록 후 기준을 바꿨다면 감출 것이 아니라 무엇을 언제 왜 바꿨는지 논문에 적으면 된다. PRISMA 2020은 프로토콜 수정 이력의 기술을 명시적으로 요구한다.
3단계: 검색 전략 수립과 실행
데이터베이스는 최소 세 곳 이상을 쓰는 것이 관례다. 국제 자료는 PubMed·Embase·CINAHL·Web of Science·Scopus·PsycINFO 중 주제에 맞는 곳을, 국내 자료는 RISS·KISS·DBpia·KCI·KMbase를 조합한다. 국내 데이터베이스 접근과 내려받기 절차가 익숙하지 않다면 RISS·DBpia·KCI에서 선행연구를 찾고 내려받는 실전 순서를 먼저 익혀 두는 편이 시간을 아낀다.
검색식은 PICO의 각 개념을 OR로 묶고 개념 간을 AND로 연결하는 구조로 만든다. 통제어(MeSH 등)와 자연어를 함께 쓰고, 절단 기호와 인접 연산자를 활용한다. 핵심 원칙은 실행한 검색식 전문을 데이터베이스별로 전부 기록하는 것이다. PRISMA 2020은 대표 데이터베이스 하나가 아니라 모든 정보원의 검색식 전문 제시를 요구하며, 이는 2009년판에서 강화된 지점이다. 검색 실행일도 반드시 기록한다.
4단계: 중복 제거와 선별
선별은 두 관문이다. 먼저 제목과 초록으로 명백히 무관한 것을 거르고, 남은 것의 전문을 구해 선정 기준으로 판정한다. 두 관문 모두 2인이 독립적으로 수행하고 불일치는 토의 또는 제3자 조정으로 해결한다. 이때의 일치도(Cohen’s κ)는 보고하면 좋은 정보다. 전문 단계에서 제외한 문헌은 사유별 개수를 반드시 남겨야 하고, 대개 목록을 부록으로 첨부한다. 제목·초록 단계의 제외 사유는 기록하지 않아도 된다.
5단계: 자료 추출
추출 양식을 미리 만들고 두세 편으로 예비 추출해 항목을 다듬은 뒤 본 추출에 들어간다. 서지 정보, 국가, 설계, 표본 크기, 대상자 특성, 중재의 구성과 기간, 결과 측정 도구, 효과 추정치와 분산이 기본 항목이다. 추출도 2인 독립이 원칙이며, 필요한 값이 논문에 없으면 저자에게 문의한 사실과 결과를 기록한다.
6단계: 비뚤림 위험 평가
설계에 맞는 도구를 골라야 한다. 무작위 대조 시험은 RoB 2, 비무작위 중재연구는 ROBINS-I, 관찰연구는 Newcastle-Ottawa Scale이나 JBI 도구, 진단검사 정확도는 QUADAS-2를 쓴다. 이 평가는 개별 연구의 ‘품질 점수’를 매기는 일이 아니라 결과가 왜곡되었을 위험을 영역별로 판정하는 일이다. 총점을 합산해 순위를 매기는 방식은 권장되지 않는다. 평가도 2인 독립으로 하고, 결과는 영역별 신호등 표로 제시한다.
7단계: 합성
여기서 갈림길이 생긴다. 효과크기를 계산할 수 있고 연구들이 충분히 유사하면 메타분석으로 효과크기를 통합한다. 이질성이 크거나 결과 지표가 제각각이면 통합하지 않고 서술적 합성을 수행하며, 이 경우 SWiM 보고 지침을 함께 참고한다. 통합할 수 없는 것을 억지로 통합한 메타분석은 통합하지 않은 서술적 합성보다 나쁘다. 어느 쪽이든 이질성 탐색 방법, 하위군 분석, 민감도 분석 계획을 사전에 밝혀야 한다.
8단계: 근거 확실성 평가
개별 연구가 아니라 결과 지표별 근거 전체의 확실성을 판정한다. 표준 도구는 GRADE이며, 비뚤림 위험·비일관성·비직접성·비정밀성·출판 비뚤림 다섯 영역을 근거로 확실성을 높음·중등도·낮음·매우 낮음으로 등급화한다. PRISMA 2020에서 ‘질(quality)’ 대신 ‘확실성(certainty)’이라는 용어가 명시적 항목으로 들어온 것이 2009년판과의 중요한 차이다.
(다) 논문에 어떻게 보고하는가: PRISMA 2020
27개 항목이 놓이는 일곱 개의 절
PRISMA 2020 체크리스트는 27개 항목을 일곱 개 절로 나눈다. 항목 번호를 논문의 절과 맞춰 놓으면 누락이 바로 보인다.
- 제목(항목 1) — 제목에 ‘체계적 문헌고찰’임을 명시한다.
- 초록(항목 2) — 구조화 초록으로 배경·방법·결과·결론을 담는다.
- 서론(항목 3~4) — 근거와 목적. 왜 지금 이 고찰이 필요한지와 PICO로 진술한 목적.
- 연구방법(항목 5~15) — 선정 기준, 정보원, 검색 전략, 선별 과정, 자료 수집 과정, 자료 항목, 개별 연구 비뚤림 위험 평가, 효과 지표, 합성 방법, 보고 비뚤림 평가, 확실성 평가.
- 연구결과(항목 16~22) — 문헌 선정, 연구 특성, 개별 연구 비뚤림 위험, 개별 연구 결과, 합성 결과, 보고 비뚤림, 근거 확실성.
- 고찰(항목 23) — 결과 해석, 근거의 한계, 고찰 과정의 한계, 실무·정책·연구에의 함의.
- 기타 정보(항목 24~27) — 등록과 프로토콜(수정 이력 포함), 연구비 지원, 이해상충, 자료·코드 이용 가능성.
PRISMA 2020에서 등록·프로토콜 항목이 연구방법이 아니라 ‘기타 정보’ 절로 옮겨졌다는 점, 그리고 이해상충과 자료·코드 공개 항목이 새로 들어왔다는 점은 2009년판만 보고 쓴 원고에서 자주 빠지는 부분이다.
흐름도: 숫자를 어디서 가져오는가
PRISMA 2020 흐름도는 식별(Identification)·선별(Screening)·포함(Included) 세 띠로 구성되고, 2009년판과 달리 두 갈래의 유입 경로를 나란히 그린다. 왼쪽은 데이터베이스와 등록처에서 나온 기록, 오른쪽은 그 밖의 방법으로 찾은 기록, 즉 기관 웹사이트, 학회 초록집, 인용문헌 추적, 전문가 문의로 얻은 것들이다. 갱신 고찰이라면 ‘이전 고찰에서 포함된 연구’를 위한 별도 칸을 쓴다.
또 하나의 신설 요소가 ‘선별 전 제거된 기록’ 칸이다. 여기에는 중복 제거 건수, 자동화 도구가 부적격으로 표시한 건수, 그 밖의 사유로 제거한 건수를 각각 나눠 적는다. 예전처럼 ‘중복 제거 후 n건’이라고 뭉뚱그리면 2020판 흐름도가 아니다. 이후 흐름은 선별한 기록 수와 제외 수, 전문을 요청한 수와 입수하지 못한 수, 적격성을 평가한 수와 사유별 제외 수, 최종 포함 연구 수와 그 연구들의 보고서 수로 이어진다.
바로 쓸 수 있는 모범 문장
본 연구는 PRISMA 2020 보고지침에 따라 수행된 체계적 문헌고찰이다. 연구 프로토콜은 자료 검색 시작 전에 국제 등록처에 사전 등록하였다(등록번호: CRD42026XXXXXX).
문헌 검색은 2026년 3월 12일에 PubMed, Embase, CINAHL, RISS, KISS, KCI 여섯 개 데이터베이스를 대상으로 수행하였다. 검색어는 대상자, 중재, 결과의 세 개념군으로 구성하여 각 개념군 내부는 OR로, 개념군 간에는 AND로 연결하였으며, 통제어와 자연어를 병용하였다. 데이터베이스별 검색식 전문은 부록 1에 제시하였다. 아울러 포함된 문헌의 참고문헌 목록을 수기로 추적하여 추가 문헌을 확인하였다.
선정 기준은 (1) 만 19세 이상 성인을 대상으로 하고, (2) 구조화된 중재를 제공하였으며, (3) 이직 의도를 표준화 도구로 측정하고, (4) 2015년 1월 이후 한국어 또는 영어로 발표된 연구로 하였다. 학위논문은 포함하되 학회 초록만 발표된 연구는 제외하였다.
제목과 초록 선별, 전문 선별, 자료 추출, 비뚤림 위험 평가는 두 명의 연구자가 독립적으로 수행하였고 불일치는 제3의 연구자가 조정하였다. 전문 선별 단계의 평가자 간 일치도는 Cohen’s κ = .87이었다. 무작위 대조 시험은 RoB 2로, 비무작위 중재연구는 ROBINS-I로 평가하였다.
총 1,842건이 검색되었고 중복 512건과 자동화 도구가 부적격으로 표시한 31건을 제거한 뒤 1,299건을 선별하였다. 제목·초록 선별에서 1,187건을 제외하고 112건의 전문을 검토하여 최종 18편을 포함하였다. 전문 검토에서 제외한 94편의 사유는 대상자 불일치 41편, 결과 지표 불일치 33편, 설계 불일치 14편, 전문 입수 불가 6편이었다(그림 1).
결과 절에서 표와 수치를 문장으로 풀어내는 방식은 선행연구 검색부터 연구 갭 도출까지의 문헌고찰 작성법에서 정리한 서술 원칙을 그대로 적용하면 된다.
심사에서 반복해서 걸리는 다섯 가지
- 검색식을 요약만 하고 전문을 싣지 않는다 — 재현 가능성이 사라지므로 가장 흔하고 가장 치명적이다.
- 검색 실행일이 없다 — 언제 기준의 결과인지 알 수 없어 갱신 가능성을 판단할 수 없다.
- 전문 단계 제외 사유가 없다 — 흐름도에 숫자만 있고 사유별 내역이 없다.
- 비뚤림 위험 평가를 표만 붙이고 끝낸다 — 평가 결과가 합성과 결론에 어떻게 반영되었는지 서술이 없다.
- 이질성이 큰데도 통합했다 — I 제곱 값이 높은데 무작위효과모형을 썼다는 한 줄로 넘어간다.
자주 묻는 질문
체계적 문헌고찰은 혼자서도 할 수 있나요?
원칙적으로는 어렵습니다. 선별과 자료 추출은 두 명이 독립적으로 수행하고 불일치를 제3자가 조정하는 것이 표준이기 때문입니다. 다만 학위논문에서는 지도교수나 동료 연구자를 제2평가자로 참여시키는 방식이 널리 인정되므로, 단독 수행 대신 제2평가자를 확보하고 그 역할을 연구방법 절에 명시하는 것이 현실적인 해법입니다.
체계적 문헌고찰에 반드시 메타분석이 있어야 하나요?
아닙니다. 메타분석은 합성 방법 중 하나이며, 연구 간 이질성이 크거나 효과크기를 계산할 수 없는 경우에는 통합하지 않는 편이 옳습니다. 이때는 서술적 합성을 수행하고 그 방법과 판단 근거를 명시하면 됩니다. 통합할 수 없는 자료를 억지로 통합한 메타분석이 오히려 더 큰 결함입니다.
체계적 문헌고찰과 스코핑 리뷰는 무엇이 다른가요?
묻는 질문이 다릅니다. 체계적 문헌고찰은 좁게 정의된 효과 질문에 답하며 비뚤림 위험 평가와 근거 확실성 평가가 필수입니다. 스코핑 리뷰는 특정 영역의 연구 지형과 공백을 파악하는 것이 목적이라 질 평가를 요구하지 않는 것이 일반적입니다. 답할 질문이 아직 좁혀지지 않았다면 스코핑 리뷰가 맞습니다.
국내 데이터베이스만 검색해도 되나요?
연구 질문이 명시적으로 국내 맥락에 한정되어 있고 그 제한을 선정 기준과 한계 절에 밝힌다면 가능합니다. 다만 그 경우에도 RISS·KISS·DBpia·KCI 같은 복수의 국내 데이터베이스를 함께 검색해야 하며, 단일 데이터베이스만 검색한 고찰은 체계적이라고 인정받기 어렵습니다.
정리
체계적 문헌고찰의 어려움은 통계에 있지 않고 기록에 있다. 검색식 전문, 검색 실행일, 사유별 제외 내역, 평가자 간 일치도, 프로토콜 수정 이력 — 이 다섯 가지는 나중에 복원할 수 없으므로 작업하면서 그때그때 남겨야 한다. PRISMA 2020 체크리스트를 작업 시작 시점에 열어 놓고 항목 번호마다 원고의 절을 적어 두면, 마감 직전에 되짚어야 할 것이 절반으로 줄어든다. 절차보다 기록이 먼저다.