설문 320부를 회수해 SPSS에 넣었더니 신뢰도가 기대보다 낮고 가설 두 개가 기각된다. 데이터를 들여다보니 모든 문항에 3번만 찍은 응답, 2분 만에 끝낸 응답, 역문항에 모순되게 답한 응답이 눈에 띈다. 여기서 대학원생은 두 가지 유혹 사이에 선다. 이들을 지워서 결과를 「깨끗하게」 만들 것인가, 아니면 손대지 않고 그대로 갈 것인가. 둘 다 틀렸다. 불성실 응답 제거는 정당한 자료 정제 절차이지만, 그 정당성은 기준을 언제 정했고 무엇을 보고했는가에서 나온다.
이 글은 마케팅·경영·심리·사회복지처럼 자기보고식 설문으로 논문을 쓰는 전공을 위해, 어떤 응답이 불성실 응답인지, 판정 기준을 언제 어떻게 정해야 하는지, 제거가 어디서부터 데이터 선별이 되는지, 그리고 연구방법 장에 무엇을 써야 심사에서 방어되는지를 정리한다. 응답 자체가 부족할 때의 대처는 설문 응답 수가 부족할 때의 8가지 대처법에 따로 있으며, 이 글은 회수한 자료 안에서의 판단만 다룬다.
불성실 응답은 왜 제거해도 되는가
연구윤리의 원칙은 「결과에 유리하게 자료를 고르지 말라」이지 「모든 자료를 무조건 써라」가 아니다. 문항을 읽지 않고 답한 응답은 측정하려는 구성개념을 측정한 것이 아니므로, 측정 오차가 아니라 측정이 이루어지지 않은 사례다. 이를 남겨 두면 상관이 약해지고 신뢰도가 떨어지며, 드물게는 허위의 효과가 만들어지기도 한다. 따라서 부주의 응답을 걸러내는 절차는 자료의 타당도를 지키는 행위로 인정된다.
문제는 같은 절차가 결과를 본 뒤 결과에 맞춰 적용될 때 생긴다. 어떤 기준을 쓰느냐에 따라 제거되는 사례가 달라지고, 그에 따라 p값이 움직인다. 기준을 결과를 본 뒤에 고르면 그 순간 절차는 정제가 아니라 선별이 된다. 그 경계가 어디인지는 p해킹과 HARKing의 진실성 문제에서 다루는 논리와 정확히 같다.
불성실 응답을 가려내는 다섯 가지 지표
국내외 설문 연구에서 통용되는 판정 지표는 다음 다섯 가지다. 하나만으로 판정하지 않고 둘 이상을 조합하는 것이 관행이다.
- 주의 확인 문항 — 「이 문항에는 2번에 응답해 주십시오」처럼 지시를 따랐는지 보는 문항. 설문 설계 단계에서 넣어야 하므로 사후에는 쓸 수 없다. 한 번 틀린 응답을 제거할지, 두 번 이상 틀린 응답만 제거할지를 미리 정한다.
- 직선 응답 — 연속된 문항에 같은 번호만 찍은 패턴. 한 척도 안의 문항이 모두 같은 값이거나, 연속 동일 응답의 최장 길이가 기준을 넘으면 판정한다. 역문항이 있는 척도에서 직선 응답은 논리적으로 성립하지 않으므로 강한 근거가 된다.
- 응답 시간 — 온라인 설문에서 전체 소요 시간이 문항 수 대비 지나치게 짧은 경우. 문항당 2초 미만이나 중앙값의 절반 미만 같은 기준을 사전에 정한다. 종이 설문에서는 쓸 수 없다.
- 역문항 불일치 — 같은 개념을 정방향과 역방향으로 묻는 문항 쌍에서 둘 다 「매우 그렇다」처럼 모순되게 답한 경우. 척도에 역문항이 있을 때만 가능하다.
- 다변량 이상치 — Mahalanobis 거리로 전체 응답 패턴이 다른 응답자들과 극단적으로 다른 사례를 찾는 방법. 통계적 이상치와 불성실 응답은 다르므로, 이 지표로 찾은 사례는 위 네 지표와 겹치는지 확인한 뒤 판정한다. 이상치 진단의 절차는 결측치·이상치 처리 튜토리얼을 따른다.
SPSS와 엑셀에서 지표를 만드는 절차
지표는 판정 열을 하나씩 만들어 두는 방식으로 계산한다. 직선 응답은 한 척도의 문항들을 묶어 표준편차를 구하면 된다. 표준편차가 0이면 그 척도 안에서 전 문항 동일 응답이다. 엑셀에서는 해당 열 범위에 표준편차 함수를, SPSS에서는 변수 계산에서 같은 함수를 쓰고 척도마다 열을 하나씩 만든다. 연속 동일 응답의 최장 길이를 쓰려면 문항을 설문지 순서대로 늘어놓고 인접 문항이 같은지를 판정하는 열을 만든 뒤 연속 구간의 길이를 센다. 문항 수의 절반 이상이 연속 동일이면 판정하는 규칙이 흔히 쓰인다.
응답 시간은 온라인 설문 도구가 남기는 시작·종료 시각의 차이로 구한다. 구글 폼은 제출 시각만 남기므로 소요 시간을 얻으려면 첫 문항 앞에 시각 기록 항목을 두거나 시간 기록이 되는 도구를 써야 한다. 시간을 초 단위로 바꿔 전체 응답자의 중앙값을 구하고, 그 값의 일정 비율 미만을 판정한다. 역문항 불일치는 정방향 문항과 역채점 전의 역문항 원점수를 더해 극단값이 나오는 쌍을 찾는다. 5점 척도라면 두 문항의 합이 10이거나 2인 경우가 모순 응답이다. 다변량 이상치는 회귀분석 대화상자에서 Mahalanobis 거리를 저장하면 열이 생기며, 변수 수를 자유도로 하는 카이제곱 분포의 .001 수준 임계값을 넘는 사례를 표시한다.
지표 열을 모두 만들었으면 조합 규칙 열을 하나 더 만든다. 예를 들어 「주의 확인 문항 오답 또는 두 지표 이상 해당」이라는 규칙을 하나의 논리식으로 적고, 그 열이 참인 사례만 제외한다. 제외한 사례는 삭제하지 않고 필터 변수로 걸러 두면 민감도 분석 때 그대로 되돌릴 수 있다. 원자료 파일과 정제 후 파일을 따로 저장하고 파일명에 날짜를 넣는 것도 관행이다.
정당한 제거와 데이터 선별을 가르는 네 가지 선
같은 지표를 써도 절차에 따라 정당성이 달라진다. 다음 네 가지가 경계다.
- 기준을 정한 시점 — 자료를 분석하기 전, 가능하면 설문 배포 전에 정한 기준만 정당하다. 연구계획서나 IRB 신청서, 사전등록에 기준을 적어 두면 가장 강한 근거가 된다. 결과를 본 뒤 정한 기준은 그 자체가 결과에 종속된다.
- 기준의 결과 독립성 — 「가설 방향과 반대로 답한 응답」 같은 기준은 결과를 기준으로 삼는 것이므로 어떤 경우에도 정당하지 않다. 지표는 응답의 성실성만 보아야 하며, 응답의 내용을 보아서는 안 된다.
- 일률 적용 — 기준을 정했으면 전체 사례에 같은 규칙으로 적용한다. 일부 사례에만 적용하거나 기준을 사례별로 조정하면 선별이 된다.
- 제거 전후 보고 — 제거 전 사례 수, 지표별 해당 수, 최종 사례 수를 보고하고, 가능하면 제거 전후의 핵심 결과가 어떻게 달라졌는지 민감도 분석으로 부록에 싣는다. 제거로 결론이 바뀌는 경우 그 사실 자체를 고찰에 적는다.
네 선을 모두 지키면 제거는 정당하다. 하나라도 넘으면, 의도가 없었더라도 심사위원은 결과의 신뢰성을 의심한다. 연구 진실성의 일반 원칙에서 이 문제가 어디에 해당하는지는 연구 진실성의 정의와 핵심 원칙에서 확인할 수 있다.
제거 비율이 너무 높을 때
기준을 적용했더니 20%가 넘게 걸러진다면 기준이 지나치게 엄격하거나 자료 수집 경로에 문제가 있다는 신호다. 이때 기준을 완화해 제거 비율을 낮추는 것은 사후 조정이므로 허용되지 않는다. 대신 사전 기준대로 제거한 결과를 주 분석으로 보고하고, 완화된 기준의 결과를 민감도 분석으로 나란히 제시한다. 두 결과가 같은 결론이면 결론의 견고함을, 다르면 그 차이를 고찰에서 논의한다.
제거 비율이 높은 원인은 대개 모집 경로에 있다. 보상형 패널이나 불특정 다수 배포에서는 부주의 응답 비율이 높은 것으로 알려져 있으므로, 어디서 응답자를 모았는지가 제거 비율의 해석에 앞선다. 모집 경로별 특성은 설문 응답자 모집 방법 비교에 정리되어 있다.
연구방법 장에 쓰는 문장
자료 정제 절차는 연구방법 장의 자료 수집 또는 자료 분석 절에 한 문단으로 쓴다. 다음은 국내 학위논문에서 통용되는 뼈대다.
「회수된 342부 중 다음 기준에 해당하는 응답을 사전에 정한 규칙에 따라 제외하였다. (1) 주의 확인 문항 2개 중 1개 이상 오답, (2) 한 척도 내 전 문항 동일 응답, (3) 전체 응답 소요 시간이 전체 응답자 중앙값의 40% 미만. 이 기준은 자료 수집 전 연구계획서에 명시하였으며, (1)에 해당하는 응답이 14부, (2)가 9부, (3)이 6부였고 중복을 제외한 총 23부(6.7%)를 제외하여 최종 319부를 분석에 사용하였다. 제외 전 자료로 수행한 주요 분석 결과는 부록 C에 제시하였으며 결론은 동일하였다.」
이 문단에는 기준, 기준을 정한 시점, 지표별 수, 최종 사례 수, 민감도 분석의 위치가 모두 들어 있다. 심사위원이 「왜 이 기준인가」와 「제거가 결과를 바꿨는가」를 물을 여지가 없다. 반대로 「불성실한 응답 23부를 제외하였다」한 문장만 있는 논문은 거의 예외 없이 그 두 질문을 받는다.
제거 결과를 표로 남기기
지표별 해당 수는 문장으로만 쓰기보다 작은 표로 제시하는 것이 읽기 쉽다. 행은 지표, 열은 기준·해당 사례 수·비율로 두고, 마지막 행에 중복을 제외한 최종 제외 수를 적는다. 여러 지표에 동시에 걸린 사례가 있으므로 지표별 수의 합이 최종 제외 수보다 큰 것이 정상이며, 표 아래에 그 사실을 주석으로 단다. 이 표가 있으면 심사위원이 「어느 기준이 가장 많이 걸렀는가」를 바로 읽을 수 있어 질문이 줄어든다.
연구계획서와 IRB 신청서에 미리 쓰는 문장
가장 강한 근거는 자료 수집 전 문서다. 연구계획서의 자료 분석 계획이나 IRB 신청서의 자료 처리 항목에 「다음 기준에 해당하는 응답은 분석에서 제외한다」고 지표와 임계값을 명시해 두면, 논문에서는 그 문서를 인용하며 「사전에 정한 기준」임을 증명할 수 있다. IRB 심의를 거치지 않는 설문이라도 지도교수의 승인을 받은 연구계획서에 같은 문장을 넣는다. 설문의 IRB 요건은 IRB 승인 없이 설문해도 되는지 다룬 FAQ에서 확인할 수 있다.
사전 기준 없이 이미 자료를 다 모았다면
현실적으로 많은 학위논문이 이 상태에서 시작한다. 이때 취할 수 있는 정당한 경로는 하나다. 결과를 보기 전에 기준을 정하고 문서로 남기는 것이다. 지도교수에게 기준을 메일로 보내 날짜를 남기거나, 연구노트에 기준과 날짜를 적은 뒤에 분석을 시작한다. 기준은 분야의 관행적 값을 그대로 쓰되, 자기 자료를 들여다보고 조정하지 않는다. 방법 절에는 「기준은 분석에 앞서 정하였으며 결과를 확인한 후 변경하지 않았다」고 적는다.
이미 결과를 본 뒤라면 사후 제거를 주 분석으로 삼을 수 없다. 전체 자료의 결과를 주 분석으로 보고하고, 불성실 응답을 제외한 결과를 탐색적 민감도 분석으로 덧붙이는 것이 남은 정직한 선택이다. 이 경우 두 결과의 차이를 고찰에서 다루며, 제외 결과만 본문에 싣고 전체 결과를 숨기는 것은 데이터 선별이다.
마케팅·경영 논문에서 특히 주의할 점
마케팅과 경영 논문은 구조방정식으로 여러 잠재변수의 관계를 검증하는 경우가 많다. 이때 불성실 응답은 모든 구성개념의 상관을 한 방향으로 부풀리거나 눌러서 판별타당도와 경로계수를 동시에 왜곡한다. 따라서 측정모형을 평가하기 전에 정제를 끝내야 하며, 정제 후에 신뢰도와 타당도를 다시 산출해 그 값을 보고한다. 정제 전 값으로 측정모형을 통과시키고 정제 후 자료로 구조모형을 돌리는 것은 두 자료가 다르므로 허용되지 않는다.
온라인 패널로 자료를 모은 경우 같은 응답자가 두 번 참여한 중복 응답도 함께 점검한다. 응답 시간·기기 정보·인구통계 조합이 완전히 같은 사례가 그 후보이며, 중복 판정 기준도 사전에 정해 둔다. 이 모든 정제 과정을 방법 절에 적은 뒤, 제출 전에는 본문 서술이 선행연구의 정제 문단을 그대로 옮긴 것은 아닌지 자가 점검하는 것이 관행이다. 정제 절차 문단은 논문마다 비슷해지기 쉬워 유사도가 높게 나오는 대표적인 자리이기 때문이다.
심사에서 실제로 나오는 지적
- 「제외 기준을 언제 정했는가」 — 연구계획서나 연구노트의 날짜로 답한다.
- 「23부를 뺐는데 결과가 어떻게 달라졌는가」 — 부록의 민감도 분석 표를 가리킨다.
- 「직선 응답이 실제 태도일 수도 있지 않은가」 — 역문항이 포함된 척도에서의 직선 응답은 논리적으로 성립하지 않는다는 점, 그리고 두 지표 이상의 조합으로만 판정했다는 점으로 답한다.
- 「제외 비율이 왜 이렇게 높은가」 — 모집 경로의 특성과 함께 설명하고, 기준을 완화한 민감도 분석을 제시한다.
- 「제외한 응답자의 인구통계가 남은 응답자와 다른가」 — 제외군과 잔류군의 성별·연령 분포를 비교한 결과를 준비해 둔다. 차이가 있으면 표본의 대표성 한계로 적는다.
제거 전 점검 목록
- 판정 기준이 자료 분석 전에 문서로 남아 있는가.
- 기준이 응답의 성실성만 보고 내용이나 가설 방향을 보지 않는가.
- 둘 이상의 지표를 조합했고 조합 규칙이 명시되어 있는가.
- 전체 사례에 같은 규칙을 일률 적용했는가.
- 제거 전 사례 수, 지표별 수, 최종 사례 수를 보고했는가.
- 제거 전후 주요 결과의 민감도 분석을 부록에 실었는가.
- 정제 후 신뢰도와 타당도를 다시 산출했는가.
자주 묻는 질문
불성실 응답을 제거하면 표절이나 연구부정에 해당하나요?
아닙니다. 사전에 정한 기준을 일률 적용하고 그 절차를 보고했다면 정당한 자료 정제입니다. 결과를 본 뒤 기준을 정하거나 결과에 따라 제거 여부를 바꾸면 데이터 선별에 해당합니다.
주의 확인 문항을 넣지 않았는데 제거할 수 있나요?
가능합니다. 직선 응답, 응답 시간, 역문항 불일치, 다변량 이상치처럼 사후에도 계산할 수 있는 지표를 결과를 보기 전에 기준으로 정해 적용하면 됩니다.
제거 기준을 몇 퍼센트로 잡아야 하나요?
비율을 목표로 정하지 않습니다. 지표별 기준을 정하고 그 결과 몇 부가 제거되었는지를 보고합니다. 제거 비율이 지나치게 높으면 기준을 완화하는 대신 민감도 분석으로 두 결과를 함께 제시합니다.
제거했더니 가설 결과가 바뀌었습니다. 어떻게 하나요?
사전 기준에 따른 결과를 주 분석으로 보고하고, 제거 전 결과를 부록에 실은 뒤 결론이 자료 정제에 민감하다는 점을 고찰에 적습니다. 결과가 유리한 쪽만 싣는 것은 허용되지 않습니다.
정리
불성실 응답 제거의 정당성은 지표의 종류가 아니라 절차에서 나온다. 기준을 결과 전에 정하고, 성실성만 보며, 일률 적용하고, 전후를 보고하면 정제이고, 그중 하나를 어기면 선별이다. 오늘 할 일은 자기 자료에 쓸 지표와 조합 규칙을 정해 날짜와 함께 연구노트에 적고, 그 뒤에 첫 번째 분석을 시작하는 것이다.