질적 연구 논문의 연구방법 절에서 가장 자주 등장하면서 가장 자주 텅 비어 있는 문장이 있다. “자료의 삼각검증을 통해 타당성을 확보하였다.” 이 문장만으로는 무엇을 무엇과 대조했는지, 대조 결과가 어땠는지, 어긋난 것은 없었는지 아무것도 알 수 없다. 심사위원이 “구체적으로 무엇을 삼각검증했습니까”라고 물으면 대답할 것이 없어진다.
삼각검증(triangulation)은 원래 측량 용어다. 한 지점의 위치를 확정하기 위해 서로 다른 두 지점에서 각도를 재는 방식이며, 연구에서는 서로 다른 약점을 가진 자료원이나 방법을 함께 써서 결론의 신빙성을 높이는 설계를 뜻한다. 핵심은 ‘여러 개를 모았다’가 아니라 ‘서로 다른 약점을 짝지었다’는 데 있다.
이 글은 삼각검증을 세 부분으로 정리한다. (가) 언제 어떤 유형을 고르는가, (나) 어떻게 설계하고 운영하는가, (다) 논문에 무엇을 어떻게 쓰는가. 특히 세 번째 부분에서 다루는 불일치를 쓰는 법이 이 글의 핵심이다.
먼저 목적을 정한다: 확증인가 완결성인가
같은 삼각검증이라도 무엇을 위해 하는지에 따라 결과 해석이 정반대가 된다.
- 확증(confirmation) 목적 — 서로 다른 자료가 같은 결론을 가리키면 그 결론을 더 믿을 수 있다는 관점이다. 이때 자료 간 불일치는 문제 신호가 된다.
- 완결성(completeness) 목적 — 서로 다른 자료는 현상의 서로 다른 측면을 비추므로, 합치면 더 온전한 그림이 된다는 관점이다. 이때 불일치는 실패가 아니라 현상의 복잡성에 대한 발견이다.
구성주의적 전제에 선 연구라면 확증 논리를 그대로 쓰기 어렵다. 서로 다른 방법은 서로 다른 인식론을 깔고 있어 단순히 더할 수 없다는 비판이 오래전부터 있어 왔다. 어느 목적으로 삼각검증을 하는지 논문에 선언하면, 나중에 자료가 어긋나도 서술이 흔들리지 않는다. 질적 연구의 품질 기준 전반은 질적 연구 방법의 신뢰성 확보 전략과 함께 보면 위치가 잡힌다.
(가) 네 가지 유형 중 무엇을 고르는가
Denzin이 구분한 네 갈래가 지금도 표준으로 쓰인다.
1. 자료 삼각검증(data triangulation)
같은 방법을 서로 다른 시간·공간·집단에 적용해 자료를 모은다. 학기 초와 학기 말에 각각 면담하기, 두 지역의 같은 프로그램을 비교하기, 학생과 교사에게 같은 질문 던지기가 여기에 해당한다. 가장 실행하기 쉬우면서 효과가 확실한 유형이며, 특히 서로 다른 집단에 묻는 방식이 학위논문에서 값이 크다. 관점이 다른 집단의 진술이 어긋나는 지점에서 연구의 발견이 나오기 때문이다.
2. 연구자 삼각검증(investigator triangulation)
둘 이상의 연구자가 같은 자료를 독립적으로 분석하고 결과를 대조한다. 단독 연구인 학위논문에서는 지도교수나 동료 대학원생을 제2분석자로 참여시키는 방식으로 구현한다. 여기서 주의할 점이 하나 있다. 일치도를 계수로 산출할지 여부는 택한 분석 방법에 달려 있다. 코딩 신뢰도를 전제하는 접근이라면 계수가 필요하지만, 연구자의 해석적 관여를 자원으로 보는 접근이라면 계수 산출이 오히려 방법과 어긋난다. 이 경우에는 ‘해석의 차이를 토의로 조정한 과정’을 기술하는 편이 맞는다.
3. 이론 삼각검증(theory triangulation)
같은 자료를 서로 다른 이론 틀로 해석해 본다. 실행하는 논문이 드물지만 고찰의 깊이를 크게 올리는 유형이다. 하나의 이론으로는 설명되지 않던 자료가 다른 틀에서는 자연스럽게 읽히는 경험이 여기서 나온다. 두 틀이 각각 무엇을 설명하고 무엇을 설명하지 못하는지를 나란히 쓰면, 그 자체가 이론적 기여가 된다.
4. 방법론적 삼각검증(methodological triangulation)
가장 강력하고 가장 자주 언급되는 유형이다. 둘로 나뉜다.
- 방법 내 삼각검증 — 같은 계열 안에서 다른 기법을 쓴다. 개별 면담과 초점집단 면담을 함께 하는 경우.
- 방법 간 삼각검증 — 질적 방법과 양적 방법을 함께 쓴다. 이 지점에서 삼각검증은 사실상 혼합 연구 방법의 설계 유형과 통합 전략과 만난다.
국내 학위논문에서 자주 쓰이는 조합
실제로는 두세 유형을 겹쳐 쓴다. 흔한 조합은 다음과 같다.
- 면담 + 관찰 + 문서 — 사례연구의 고전적 조합. 말한 것, 실제로 한 것, 공식적으로 기록된 것을 대조한다.
- 서로 다른 집단 면담 + 공통 문항 설문 — 이해관계자 간 인식 차이를 다루는 연구의 표준형.
- 사전사후 양적 지표 + 참여자 면담 — 프로그램 효과 연구에서 ‘얼마나’와 ‘왜’를 함께 답하는 형태.
조합을 고를 때의 기준은 화려함이 아니라 실제로 확보 가능한가다. 기관 문서 접근 권한이 없는데 문서 삼각검증을 계획에 넣으면 중간에 설계를 바꿔야 하고, 그 흔적이 논문에 어색하게 남는다. 자료 수집 계획을 확정하기 전에 각 자료원에 대해 접근 권한, 소요 기간, 윤리 심의 필요 여부를 한 줄씩 적어 보면 실현 가능한 조합이 자연스럽게 좁혀진다.
(나) 절차: 자료를 모으기 전에 배분한다
1단계: 매트릭스를 먼저 그린다
삼각검증이 형식적 문장으로 끝나는 가장 큰 이유는 자료를 다 모은 뒤에 삼각검증을 떠올리기 때문이다. 순서를 뒤집어야 한다. 자료 수집 계획을 세울 때 표를 하나 만든다. 행에는 연구질문을, 열에는 자료원을 놓고, 각 자료원이 어떤 질문에 답하는지 표시한다.
이 표가 세 가지를 즉시 드러낸다. 첫째, 자료원이 하나뿐인 연구질문이 있다면 그 질문에는 삼각검증이 없는 것이다. 둘째, 모든 자료원이 같은 질문에만 몰려 있다면 자원을 낭비하고 있다. 셋째, 어떤 자료원도 답하지 않는 질문이 있다면 설계에 구멍이 있다. 표 하나로 이 셋을 잡을 수 있다. 그리고 이 표는 그대로 논문의 연구방법 절에 실을 수 있어, 나중에 따로 만들 필요도 없다.
2단계: 약점이 겹치지 않는 조합을 만든다
자료원을 늘리는 것 자체는 삼각검증이 아니다. 약점이 서로 다른 자료원을 짝지어야 한다. 예를 들어 자기보고 설문과 자기보고 면담은 둘 다 사회적 바람직성이라는 같은 약점을 공유하므로, 두 자료가 일치해도 그것은 편향이 일관되게 작동했다는 뜻일 수 있다. 여기에 관찰 기록이나 행정 자료처럼 자기보고가 아닌 자료원을 하나 더해야 비로소 약점이 교차된다. 면담 자료가 회상 편향과 사회적 바람직성에 취약하다는 점을 알고 그것을 메울 자료를 고르는 것이 설계의 핵심이다.
3단계: 수집 순서를 정한다
동시에 모을 것인가, 순차로 모을 것인가. 동시 수집은 자료 간 오염이 적고, 순차 수집은 앞 자료의 결과로 뒤 자료의 초점을 조정할 수 있다. 순차 수집이라면 앞 자료가 뒤 자료를 어떻게 바꾸었는지를 기록해 두어야 한다. 그 기록 자체가 논문의 내용이 된다.
4단계: 대조하고 판정한다
자료를 나란히 놓고 각 발견에 대해 판정한다.
- 수렴 — 여러 자료가 같은 결론을 가리킨다. 가장 편안한 경우이며, 결론을 강하게 진술할 근거가 된다.
- 보완 — 서로 다른 측면을 보여 주지만 충돌하지는 않는다. 설문이 ‘얼마나’를, 면담이 ‘왜’를 답하는 전형적 형태다.
- 불일치 — 자료가 서로 어긋난다. 여기서 논문의 수준이 갈린다.
(다) 논문에 어떻게 쓰는가
불일치를 감추지 말고 설명한다
이것이 삼각검증 서술의 핵심이다. 설문에서는 만족한다고 답한 참여자가 면담에서는 불만을 쏟아냈다면, 그 차이를 빼 버리는 것이 아니라 왜 갈렸는지 논증해야 한다. 익명 설문과 대면 면담의 차이인가, 시점이 달라서인가, 응답 대상이 미묘하게 달라서인가. 이 논증이 들어간 문단은 방법을 이해하고 있다는 가장 강한 신호가 된다.
불일치를 다루는 서술은 대체로 네 문장으로 구성된다. (1) 어떤 자료에서 무엇이 나왔는지, (2) 다른 자료에서는 무엇이 나왔는지, (3) 두 결과가 갈린 이유로 무엇을 검토했는지, (4) 최종적으로 어떻게 해석했고 그 해석의 한계는 무엇인지. 이 네 문장이 있으면 불일치는 결함이 아니라 발견이 된다.
연구방법 절에 들어갈 다섯 가지
- 삼각검증의 목적(확증인지 완결성인지)
- 적용한 유형(자료·연구자·이론·방법론 중 무엇인지, 복수라면 각각)
- 자료원 목록과 각 자료원이 담당한 연구질문(매트릭스 표로 제시하면 가장 명확하다)
- 수집 순서와 순차 수집이라면 앞 자료가 뒤 자료에 미친 영향
- 대조 절차와 불일치 발생 시의 처리 원칙
결과 절에서의 배치
발견마다 뒷받침 자료를 나란히 제시하는 방식이 가장 읽기 쉽다. 혼합연구라면 통합 제시표(joint display)를 쓴다. 왼쪽 열에 양적 결과, 오른쪽 열에 그에 대응하는 질적 발췌, 맨 오른쪽 열에 통합 해석을 놓는 형태다. 표와 인용을 문장으로 풀어내는 원칙은 연구 결과 장의 서술 공식을 그대로 적용하면 된다.
바로 쓸 수 있는 모범 문장
본 연구는 결론의 신빙성을 높이기 위해 자료 삼각검증과 방법론적 삼각검증을 함께 적용하였다. 삼각검증의 목적은 단일한 진실의 확증이 아니라 현상의 여러 측면을 포착하는 완결성에 두었으며, 따라서 자료 간 불일치를 오류가 아닌 해석의 자원으로 다루었다.
자료원은 참여자 개별 면담(12명), 초점집단 면담(2회), 현장 관찰 기록(총 18회), 기관 운영 문서, 사전사후 설문의 다섯 가지였다. 각 연구질문에 대해 최소 두 개 이상의 자료원이 배정되도록 자료 수집 계획을 사전에 구성하였으며, 그 배분은 표 3에 제시하였다.
자기보고 자료에 공통으로 작용할 수 있는 사회적 바람직성 편향을 고려하여, 자기보고가 아닌 관찰 기록과 운영 문서를 함께 배치하였다.
분석은 자료원별로 독립적으로 수행한 뒤 발견 단위로 대조하였다. 대조 결과는 수렴, 보완, 불일치의 세 범주로 판정하였고, 불일치가 발생한 경우 수집 시점과 상황을 재확인한 뒤 그 차이의 원인에 대한 해석을 결과 서술에 포함하였다.
예를 들어 프로그램 만족도에 대해 설문 결과는 높은 수준을 보였으나 개별 면담에서는 상당한 불만이 진술되었다. 두 자료의 수집 방식과 익명성 수준의 차이를 검토한 결과, 이 불일치는 자료의 오류라기보다 참여자가 공식적 평가 상황과 사적 대화 상황에서 서로 다른 방식으로 경험을 진술한다는 점을 보여 주는 것으로 해석하였다. 다만 이 해석은 두 자료의 수집 시점이 3주 차이가 난다는 점에서 시점 효과의 가능성을 완전히 배제하지 못한다.
심사에서 자주 지적되는 네 가지
- “삼각검증을 실시하였다”만 있고 무엇을 대조했는지가 없다 — 가장 흔한 결함이다.
- 자료원의 약점이 모두 같다 — 자기보고 자료만 세 개 모아 놓고 삼각검증이라 부른다.
- 불일치가 한 건도 보고되지 않았다 — 다섯 개 자료원에서 모든 발견이 완벽히 일치했다는 서술은 오히려 의심을 산다.
- 유형을 밝히지 않았다 — 자료 삼각검증인지 방법론적 삼각검증인지가 없어 절차를 검증할 수 없다.
자주 묻는 질문
자료원이 반드시 세 개여야 하나요?
세 개여야 한다는 규칙은 없습니다. 삼각이라는 말은 측량에서 온 비유일 뿐이며, 핵심은 서로 다른 약점을 가진 자료원을 둘 이상 쓰는 것입니다. 다만 두 자료원이 어긋났을 때 어느 쪽이 맞는지 판단할 근거가 부족해지므로, 판단이 필요한 설계라면 세 번째 자료원을 두는 편이 실질적으로 유리합니다. 개수보다 중요한 것은 각 자료원의 약점이 서로 겹치지 않는가입니다.
삼각검증 결과가 서로 어긋나면 실패한 건가요?
아닙니다. 불일치를 감추면 결함이지만 설명하면 발견이 됩니다. 설문에서는 만족한다고 답한 참여자가 면담에서는 불만을 말했다면, 그 차이 자체가 사회적 바람직성이나 응답 맥락에 대한 중요한 정보입니다. 불일치를 발견했을 때는 자료 수집 시점과 상황을 다시 확인하고, 어느 자료가 어떤 조건에서 더 신뢰할 만한지를 논증한 뒤, 그 해석을 결과 또는 고찰에 명시적으로 서술해야 합니다.
삼각검증과 구성원 검토는 같은 것인가요?
다릅니다. 구성원 검토는 연구자의 해석을 참여자에게 확인받는 절차이고, 삼각검증은 서로 다른 자료원이나 방법에서 얻은 결과를 대조하는 설계입니다. 둘 다 질적 연구의 신빙성 확보 전략으로 함께 언급되지만 목적과 시점이 다릅니다. 또한 접근에 따라 구성원 검토를 품질 기준으로 인정하지 않는 계열도 있으므로, 어느 전략을 왜 택했는지 밝히는 편이 안전합니다.
삼각검증을 하면 타당도가 확보되었다고 말할 수 있나요?
단정하지 않는 편이 좋습니다. 서로 다른 자료가 같은 방향을 가리켰다는 것은 결론에 대한 신뢰를 높이지만, 모든 자료원이 같은 방향으로 편향되어 있다면 수렴은 오히려 착시입니다. 예컨대 모든 자료를 같은 기관에서 같은 시기에 모았다면 공통된 맥락 효과가 그대로 반영됩니다. 삼각검증은 신빙성을 높이는 장치이지 타당도를 증명하는 절차가 아니라고 서술하는 것이 정확합니다.
정리
삼각검증을 제대로 하는 방법은 의외로 단순하다. 자료를 모으기 전에 표를 하나 그리는 것이다. 연구질문마다 어떤 자료원이 답할지 배분하고, 그 자료원들의 약점이 서로 겹치지 않는지 확인한다. 그리고 분석이 끝난 뒤에는 어긋난 것을 지우지 말고 왜 어긋났는지를 네 문장으로 쓴다. 그 문단이 있는 논문은 “타당성을 확보하였다”고 한 줄 쓴 논문보다 훨씬 강하다. 개념적 토대는 신뢰도와 타당도 완전 가이드에서, 실제 적용 사례는 사례연구의 자료 삼각검증과 실행연구의 다중 자료 운영에서 확인할 수 있다.