신문방송학·언론정보학 논문에서 내용분석을 방법으로 정했다면 곧바로 두 가지 질문에 부딪힌다. 코더는 몇 명이어야 하고, 코더 간 신뢰도는 얼마가 나와야 심사를 통과하는가. 결론부터 말하면 코더는 최소 2명, 신뢰도는 크리펜도르프 알파나 카파 계수로 .80 이상이 안전선이다. 다만 이 숫자는 지도교수와 학회지마다 관행이 달라 「왜 2명인지, 왜 .80인지」를 근거와 함께 밝혀야 심사에서 흔들리지 않는다. 이 글은 국내 신문방송학 학위논문에서 실제로 요구되는 코더 수, 신뢰도 계수 선택과 산출 절차, 낮게 나왔을 때의 대응까지 자주 나오는 질문에 순서대로 답한다. 내용분석 방법 전반의 절차는 내용분석 연구방법 완전 정리에, 신뢰도와 타당도의 개념 구분은 신뢰도와 타당도 완전 가이드에 정리되어 있다.
코더는 정말 2명이면 충분한가요?
학위논문 수준에서는 2명이 표준이고, 3명 이상은 신뢰도를 더 안정적으로 보이지만 필수는 아니다. 코더가 2명이면 계수 하나로 일치도를 계산할 수 있고, 국내 신문방송학 학위논문의 다수가 이 구성을 쓴다. 3명 이상을 쓰는 경우는 주로 코딩 범주가 새로 개발되어 검증이 더 필요하거나, 학회지 투고를 함께 노리는 경우다. 코더 수를 정할 때 더 중요한 것은 인원이 아니라 연구자 본인이 코더에 포함되는지다. 연구자가 코더 1로 참여하고 별도로 코더 2를 구하는 구성이 가장 흔하며, 이 경우 연구자의 사전 지식이 코딩에 스며들 위험을 방법 절에 한 문장으로 밝혀 두는 편이 안전하다. 연구자를 제외하고 독립된 코더 2명을 쓰면 이 지적을 아예 피할 수 있으므로, 시간이 허락하면 이 구성을 권한다.
코더는 어떤 사람을 구해야 하나요?
전공 지식이 필요한 범주(예: 뉴스 프레임, 저널리즘 규범 위반 여부)를 코딩한다면 코더도 관련 전공의 대학원생이나 졸업생이 적합하다. 표면적 범주(예: 기사 형식, 사진 유무, 게재 지면)만 코딩한다면 전공과 무관한 코더도 훈련만 충분하면 된다. 코더가 논문 주제나 가설을 미리 알면 코딩이 가설 방향으로 편향될 수 있으므로, 코딩북과 코딩 시트만 제공하고 연구 목적은 최소한으로만 설명하는 것이 관행이다. 코더에게 정식으로 사례비를 지급했다면 그 사실과 금액을 방법 절이나 감사의 글에 밝히는 대학원이 늘고 있다.
신뢰도 계수는 무엇을 써야 하나요?
범주형 변수(프레임 유형, 주제 분류처럼 이름만 있는 범주)에는 코헨의 카파(Cohen’s Kappa)가 가장 널리 쓰이고, 코더가 3명 이상이거나 결측값이 있는 자료에는 크리펜도르프 알파(Krippendorff’s Alpha)가 더 정확하다. 서열이나 등간 척도로 코딩했다면(예: 논조를 5점으로 평정) 크리펜도르프 알파나 급내상관계수(ICC)를 쓴다. 단순 일치율(percent agreement)만 보고하는 논문이 여전히 있지만, 우연히 일치할 확률을 보정하지 않아 최근에는 심사에서 보완 요구를 받는 경우가 많다. 카파나 알파 중 하나를 주 지표로 쓰고, 원한다면 일치율을 보조 지표로 함께 적는 구성이 안전하다.
신뢰도는 얼마나 나와야 통과하나요?
가장 널리 인용되는 기준은 크리펜도르프가 제시한 값으로, .80 이상이면 신뢰할 만하고, .667~.80은 잠정적으로 수용 가능하며, 그 아래는 재코딩이 필요하다는 구간이다. 국내 신문방송학 학위논문 심사에서도 이 기준이 관행적으로 통용되어, 범주별 알파나 카파를 표로 제시하고 .80을 넘지 못한 범주가 있으면 코딩북을 수정해 재코딩했다는 서술이 함께 따라온다. 카파 값 해석에는 랜디스와 코크의 구간(0.61 이상 상당한 일치, 0.81 이상 거의 완전한 일치)도 함께 쓰인다. 어떤 기준을 쓰든 방법 절에 기준의 출처를 각주나 인용으로 밝히는 것이 원칙이다.
범주마다 신뢰도가 다르게 나오는데 어떻게 보고하나요?
코딩 범주가 여러 개면(예: 주제, 프레임, 논조, 취재원 유형) 각 범주마다 신뢰도가 다르게 나오는 것이 정상이다. 전체를 하나의 평균값으로 뭉뚱그리지 말고 범주별 계수를 표로 제시한다. 표는 범주명, 코더 수, 사용한 계수, 산출값 네 열이면 충분하다. 일부 범주의 계수가 낮다면 그 범주만 콕 집어 코딩북의 정의를 다시 쓰고 재코딩했다는 절차를 서술하고, 최종 값을 다시 표에 반영한다. 이렇게 범주별로 투명하게 보고하는 편이 전체 평균 하나만 제시하는 것보다 심사에서 훨씬 신뢰를 얻는다.
전체 자료를 다 코딩해야 하나요, 일부만 하면 되나요?
신뢰도 검증은 전체 표본의 10~20%를 무작위로 뽑아 두 코더가 독립적으로 코딩한 뒤 그 부분집합으로 계수를 산출하는 것이 표준 절차다. 표본이 100건 이하로 작다면 전체를 두 코더가 모두 코딩해 신뢰도를 계산하는 경우도 있다. 신뢰도가 기준을 넘기면, 나머지 자료는 코더 1명이 단독으로 코딩해도 된다. 무작위 추출은 층화 없이 단순 무작위로 뽑되, 시기나 매체가 여러 개라면 각 층에서 고르게 뽑는 것이 안전하다. 몇 퍼센트를 뽑았고 어떻게 뽑았는지 방법 절에 구체적으로 적어야 재현 가능성이 확보된다.
SPSS나 R로 어떻게 계산하나요?
SPSS는 분석 → 척도 → 신뢰도 분석 메뉴로 크론바흐 알파는 계산할 수 있지만, 코헨의 카파는 분석 → 기술통계량 → 교차분석에서 통계량으로 카파를 선택해야 나온다. 크리펜도르프 알파는 SPSS 기본 메뉴에 없어 별도의 매크로(KALPHA)를 설치하거나 R의 irr 패키지, kripp.alpha 함수를 쓰는 것이 일반적이다. R을 쓴다면 irr 패키지의 kappa2 함수로 카파를, kripp.alpha 함수로 알파를 계산하고, 두 코더의 코딩 결과를 나란히 정리한 데이터프레임만 있으면 몇 줄로 끝난다. SPSS 조작 자체가 낯설다면 SPSS 신뢰도 분석 실전 튜토리얼에서 메뉴 경로부터 확인한다.
코더 훈련은 어떻게 하나요?
본 코딩 전에 코더 훈련과 예비 코딩(pilot coding)을 거치지 않으면 신뢰도가 낮게 나올 확률이 크게 오른다. 절차는 세 단계다. 첫째, 두 코더가 함께 코딩북을 읽고 범주별 정의와 예시를 확인한다. 둘째, 본 표본에 포함되지 않는 별도의 자료 10~20건으로 예비 코딩을 진행하고 불일치가 난 항목을 놓고 토론한다. 셋째, 토론 결과를 반영해 코딩북의 정의와 포함·배제 기준을 수정한 뒤 본 코딩에 들어간다. 이 훈련 과정을 거쳤다는 문장 하나만 방법 절에 추가해도 신뢰도 수치의 설득력이 올라간다. 질적 코딩과 코더 훈련의 논리는 겹치는 부분이 많아 NVivo 인터뷰 코딩 실전 튜토리얼의 코드북 절도 참고할 만하다.
신뢰도가 낮게 나왔으면 어떻게 하나요?
가장 흔한 원인은 코딩북의 범주 정의가 모호하거나, 서로 인접한 두 범주의 경계가 불분명한 경우다. 대응 순서는 다음과 같다. 첫째, 불일치가 특정 범주에 몰려 있는지 교차표로 확인한다. 둘째, 그 범주의 정의와 포함·배제 기준을 더 구체적으로 다시 쓴다. 「이렇게 애매하면 이 범주로, 저렇게 애매하면 저 범주로」처럼 경계 사례를 코딩북에 직접 예시로 넣는다. 셋째, 수정된 코딩북으로 두 코더가 같은 부분집합을 재코딩하고 계수를 다시 산출한다. 범주 자체를 없애거나 병합하는 것은 최후의 수단이며, 그 경우 왜 병합했는지를 한계점에 함께 서술한다. 이 자료가 실험 결과나 반복측정처럼 통계적으로 애매한 값을 다루는 상황과 비슷해, 실험이 실패했거나 재현이 안 됐을 때 FAQ에서 다루는 「미달 지표를 투명하게 보고하는 태도」가 그대로 적용된다.
숫자로 한 번 확인해 보기
기사 100건의 프레임 유형(갈등·인간적 흥미·경제적 결과·책임귀인 네 범주)을 두 코더가 독립적으로 코딩했다고 하자. 두 코더가 90건에서 같은 범주를 골랐고 10건에서 갈렸다면 단순 일치율은 90%로 높아 보인다. 그런데 네 범주 중 하나를 무작위로 찍어도 우연히 맞을 확률이 이미 25%에 가깝기 때문에, 우연을 보정한 카파 값은 단순 일치율보다 훨씬 낮게, 이 정도 사례라면 대략 .70대 중반에서 .80대 초반 사이로 나오는 것이 일반적이다. 단순 일치율만 보고 「90%나 되니 충분하다」고 판단하면 안 되는 이유가 여기에 있다. 범주 수가 많을수록, 그리고 범주별 빈도가 한쪽으로 쏠릴수록 카파 값이 단순 일치율보다 더 크게 떨어지므로, 범주를 설계하는 단계에서부터 각 범주가 지나치게 세분화되지 않았는지 미리 점검하는 편이 낫다.
프레임 분석처럼 이론이 걸린 범주는 어떻게 다루나요?
신문방송학 내용분석에서 가장 자주 쓰이는 이론틀은 엔트먼(Entman)의 프레임 이론과 아이엔가(Iyengar)의 일화적·주제적 프레임 구분이다. 이런 이론 기반 범주는 정의가 추상적이라 코더마다 해석이 갈리기 쉬우므로, 이론의 정의를 그대로 옮기지 말고 그 정의를 국내 기사에 적용했을 때의 구체적인 판별 기준으로 다시 써야 신뢰도가 안정된다. 예를 들어 「문제 정의, 원인 진단, 도덕적 평가, 해결책 제시의 네 기능 중 어느 것이 기사에서 두드러지는가」로 프레임을 나눈다면, 각 기능이 기사의 어떤 문장 형태로 나타나는지 예시 문장을 코딩북에 최소 서너 개씩 넣어야 두 코더가 같은 기준으로 판단한다. 취재원의 다양성이나 정파성처럼 언론학 고유의 변수를 다루는 논문이라면, 코딩북에 국내 사례를 넣기 전에 원저 이론과 번역 용어의 대응 관계를 표로 만들어 두면 두 코더가 같은 개념을 다른 이름으로 부르는 혼선을 막는다. 취재원 다양성은 보통 정부·여당, 야당, 전문가, 시민·이해당사자, 익명 네 범주로 나누고, 한 기사에 여러 취재원이 등장하면 중복 코딩을 허용할지 주 취재원 하나만 고를지를 코딩북에 명시해 두어야 한다.
같은 매체 안에서 시기가 다른 기사를 비교할 때 주의할 점
정책 보도나 사건 보도의 프레임 변화를 시기별로 비교하는 설계라면, 코딩북 자체는 전체 기간에 걸쳐 동일하게 유지해야 시기 간 비교가 성립한다. 시기마다 코딩북을 조금씩 손보면 신뢰도는 각 시기 안에서 높게 나오더라도 시기 간 비교의 타당성이 무너진다. 부득이하게 새로운 프레임이 후반부 자료에서 발견되어 범주를 추가해야 한다면, 전체 자료를 새 코딩북으로 다시 코딩하고 그 사실을 방법 절에 명시한다. 매체를 여러 개 비교하는 설계에서도 마찬가지로, 매체별로 코딩북을 다르게 적용하면 매체 간 비교가 성립하지 않는다.
학회지에는 어디까지 보고해야 하나요?
한국언론학보를 비롯한 국내 주요 언론학 학회지는 내용분석 논문에 최소한 다음 정보를 요구하는 것이 관행이다. 코더 수와 코더의 배경, 코딩 기간, 신뢰도 검증에 사용한 표본의 비율과 추출 방법, 사용한 계수의 종류, 범주별 계수 값, 기준 미달 범주가 있었다면 그 처리 절차다. 이 중 하나라도 빠지면 심사 과정에서 「신뢰도 산출 근거 불충분」이라는 지적을 받기 쉽다. 학위논문은 학회지보다 요구 수준이 낮은 경우도 있지만, 향후 논문을 학회지에 투고할 계획이 있다면 처음부터 학회지 기준으로 기록해 두는 편이 나중에 다시 코딩하는 수고를 던다.
코딩 시트는 종이와 엑셀 중 무엇이 나을까요?
표본이 200건 이하라면 엑셀 시트 하나로 충분하다. 행에 기사 일련번호, 열에 범주별 코드값을 두고, 두 코더의 시트를 나란히 붙여 VLOOKUP이나 조건부 서식으로 불일치 행을 자동으로 표시하면 훈련 단계에서 토론할 항목을 빠르게 찾는다. 표본이 그보다 크거나 범주가 열 개를 넘어가면 구글 폼이나 SPSS 데이터 입력 화면으로 옮기는 편이 오류를 줄인다. 어느 방식을 쓰든 코더 이름이나 코더 번호를 별도 열에 남겨 두면, 나중에 특정 코더의 판단이 계속 튀는지 확인할 근거가 남는다.
코더가 도중에 바뀌면 어떻게 하나요?
학위논문 진행 중 코더가 개인 사정으로 교체되는 일은 드물지 않다. 새 코더가 들어오면 이전 코더와의 신뢰도 계수는 무효로 보고, 새 코더와 처음부터 훈련·예비 코딩·신뢰도 검증을 다시 거쳐야 한다. 이미 코딩이 끝난 자료라도 새 코더의 몫으로 배정된 부분은 재코딩하거나, 최소한 새 코더와의 신뢰도를 별도로 산출해 두 구간을 구분해 보고한다. 코더 교체 사실 자체를 숨기지 않고 방법 절에 「연구 진행 중 코더 1인이 교체되어 신규 코더와 재훈련을 거쳤다」처럼 밝히는 것이 정직한 보고다. 코더별 코딩 기록, 훈련 일지, 재코딩 이력을 별도 파일로 남겨 두면 심사 과정에서 절차를 소명하는 자료가 된다.
내용분석과 텍스트마이닝을 같이 쓸 수 있나요?
가능하고, 최근 신문방송학 논문에서 늘고 있는 조합이다. 대규모 기사를 텍스트마이닝으로 먼저 토픽이나 프레임 후보를 뽑고, 그 결과를 사람이 검증하는 소표본에 전통적 내용분석과 코더 간 신뢰도 절차를 적용하는 방식이다. 두 방법을 섞을 때는 어느 부분이 자동화된 계산이고 어느 부분이 사람의 판단인지 방법 절에서 명확히 구분해야 하며, 사람이 검증한 부분에는 여전히 코더 간 신뢰도를 보고해야 한다. 텍스트마이닝 도구와 한국어 전처리의 실무는 텍스트마이닝·토픽모델링 도구 비교에 정리되어 있다.
자주 묻는 질문
신뢰도 검증을 위한 예비 코딩과 본 코딩용 무작위 표본을 같은 자료로 써도 되나요?
안 됩니다. 예비 코딩은 코딩북을 다듬기 위한 훈련용 자료이고, 신뢰도 산출용 표본은 본 자료에서 무작위로 뽑은 부분집합입니다. 두 자료가 겹치면 코더가 이미 익숙해진 사례로 신뢰도를 계산하게 되어 값이 실제보다 부풀려집니다.
지도교수가 카파 대신 크론바흐 알파를 쓰라고 하면 어떻게 하나요?
크론바흐 알파는 여러 문항이 같은 개념을 재는지 보는 척도 신뢰도 지표이며, 코더 간 일치도를 재는 지표와는 통계적 의미가 다릅니다. 지도교수의 지시라도 두 개념의 차이를 문헌으로 확인해 정중히 설명하고, 학과의 최근 통과 논문에서 실제로 무엇을 썼는지 근거로 제시하는 편이 소통에 도움이 됩니다.
코더 간 신뢰도와 코더 내 신뢰도는 다른 건가요?
다릅니다. 코더 간 신뢰도(inter-coder reliability)는 서로 다른 두 사람이 같은 자료를 얼마나 비슷하게 코딩하는지를 보고, 코더 내 신뢰도(intra-coder reliability)는 같은 코더가 시간을 두고 같은 자료를 다시 코딩했을 때 스스로 얼마나 일관되는지를 봅니다. 학위논문에서는 코더 간 신뢰도가 필수이고, 코더 내 신뢰도는 장기간에 걸쳐 코딩하는 대규모 연구에서 추가로 요구되는 경우가 있습니다.
정리
내용분석의 코더 수와 신뢰도는 숫자 하나로 끝나는 문제가 아니라 절차 전체를 투명하게 밝히는 문제다. 코더 2명 이상, 코더 훈련과 예비 코딩, 전체의 10~20% 무작위 추출, 척도 수준에 맞는 계수 선택, 범주별 계수 표, 낮은 범주의 재코딩까지 여섯 가지를 방법 절에 순서대로 적으면 「신뢰도가 왜 이 값인가」라는 질문에 이미 답한 셈이다. 오늘 할 일은 자기 코딩 범주 목록을 펴 놓고 각 범주가 명목·서열 중 어디에 해당하는지 표시하고, 그에 맞는 계수를 미리 정해 두는 것이다.
코딩북 초안이나 범주별 정의 문장을 다듬어야 한다면 Tesify 참고문헌 생성기로 내용분석 관련 선행연구의 참고문헌부터 정리해 두면 코딩북에 인용할 근거를 찾는 시간을 줄일 수 있다.