행정학 논문에 델파이 기법 적용하는 법 2026: 전문가 패널 구성부터 합의 도출까지

행정학 논문에 델파이 기법 적용하는 법 2026: 전문가 패널 구성부터 합의 도출까지

행정학 논문에서 아직 합의되지 않은 정책 방향이나 미래 예측이 필요한 주제를 다룰 때, 설문조사나 통계분석만으로는 답을 찾기 어려운 경우가 많습니다. 이럴 때 쓰는 방법이 델파이 기법(Delphi Method)입니다. 전문가 집단의 의견을 여러 차례에 걸쳐 수렴해 합의된 결론을 도출하는 이 방법은 정책 우선순위 설정, 제도 설계, 미래 예측 연구에서 특히 유용합니다. 이 글은 행정학 논문에 델파이 기법을 적용하는 절차를 전문가 패널 구성부터 합의 도출, 결과 보고까지 단계별로 정리했습니다. 모든 수치 예시는 이해를 돕기 위한 가상의 내용이며, 실제 논문에서는 반드시 자신의 패널과 지도교수의 지도를 따라야 합니다.

델파이 기법이 행정학 논문에 적합한 이유

행정학 연구 주제 중에는 “새로운 정책이 시행되면 효과가 있을 것이다”처럼 아직 자료가 축적되지 않은 미래지향적 질문이 많습니다. 예를 들어 “인구감소지역 지원을 위한 정책 우선순위는 무엇이어야 하는가”, “지방자치단체 디지털 전환의 성공 요인은 무엇인가”와 같은 질문은 기존 통계자료만으로는 답하기 어렵습니다. 델파이 기법은 해당 분야 전문가들의 경험적 판단을 구조화된 절차를 통해 수렴시킴으로써, 아직 실증자료가 부족한 영역에서도 학술적으로 설득력 있는 결론을 도출할 수 있게 해줍니다.

또한 델파이 기법은 전문가들이 익명으로 의견을 제시하기 때문에 특정 권위자의 의견에 다른 참가자들이 휘둘리는 집단사고(groupthink) 문제를 줄일 수 있다는 장점이 있습니다. 이는 대면 토론이나 초점집단면접(FGI)과 구분되는 델파이 기법만의 핵심 특징입니다. 응답이 서면으로 이루어지기 때문에 지리적으로 흩어져 있는 전문가들을 한자리에 모으지 않고도 의견을 수렴할 수 있다는 실무적 장점도 있습니다.

1단계: 연구 질문을 델파이에 적합한 형태로 정하기

델파이 기법은 “예/아니오”로 답할 수 있는 질문보다 “우선순위”, “중요도”, “동의 정도”를 묻는 질문에 적합합니다. 예를 들어 “스마트시티 정책이 효과적인가?”보다는 “스마트시티 정책의 성공 요인 중 무엇이 가장 중요한가?”처럼 순위나 정도를 묻는 형태로 연구 질문을 구성해야 합니다.

또한 연구 질문이 지나치게 광범위하면 전문가들이 응답하기 어려워지므로, “지방자치단체의 재정 건전성을 높이기 위한 정책 우선순위”처럼 범위를 구체적으로 좁히는 것이 좋습니다.

2단계: 전문가 패널 구성하기

전문가 패널의 질이 델파이 연구의 신뢰도를 결정합니다. 일반적으로 다음 기준을 충족하는 전문가를 선정합니다.

  • 전문성: 해당 정책 분야에서 5년 이상의 연구·실무 경력이 있는 학계·현장 전문가
  • 다양성: 학계, 공무원, 시민단체, 관련 기업 등 서로 다른 입장을 대표할 수 있는 구성
  • 참여 의지: 여러 라운드에 걸쳐 성실하게 응답할 수 있는 시간적 여유와 의지

패널 규모는 정해진 절대 기준은 없지만, 학위논문 수준에서는 10~20명 내외가 일반적입니다. 패널이 너무 적으면 결과의 대표성이 떨어지고, 너무 많으면 라운드마다 응답을 관리하기 어려워집니다. 행정학 논문에서는 관련 부처 공무원, 정책 연구기관 연구위원, 대학 교수를 균형 있게 포함하는 구성이 흔히 쓰입니다.

3단계: 라운드 설계하기 (보통 2~3라운드)

라운드 내용
1라운드 개방형 질문 또는 문헌 검토로 추출한 예비 항목 목록을 제시하고, 전문가들의 의견을 수렴해 항목을 추가·수정
2라운드 1라운드 결과를 통계로 요약(평균, 사분위수)해 전문가에게 다시 제시하고, 항목별 중요도나 동의 정도를 7점 또는 9점 척도로 평정
3라운드 2라운드 결과와 자신의 응답을 비교해 재평정. 합의 기준을 충족하면 종료, 충족하지 못하면 추가 라운드 진행

각 라운드 사이에는 전문가들에게 이전 라운드의 집단 응답 결과(평균, 표준편차 등)를 피드백으로 제공해야 합니다. 이 피드백 과정이 델파이 기법의 핵심으로, 전문가들이 집단의 의견을 참고해 자신의 판단을 조정할 기회를 얻게 됩니다.

라운드 수를 정할 때는 “합의에 도달할 때까지 무한히 반복한다”는 원칙과 “학위논문 일정상 최대 3라운드로 제한한다”는 현실적 제약 사이에서 균형을 잡아야 합니다. 학위논문에서는 2~3라운드로 설계하는 경우가 많으므로, 사전에 “3라운드까지 진행하고 그래도 합의되지 않은 항목은 미합의로 처리한다”는 기준을 연구계획서에 명시해두는 것이 안전합니다.

리커트 척도가 포함된 델파이 설문지와 펜, 응답지 클로즈업
2라운드부터는 리커트 척도 형태의 폐쇄형 설문으로 전환하는 것이 일반적입니다.

4단계: 합의 여부를 판단하는 기준 정하기

합의(consensus) 도달 여부를 판단하는 데 흔히 쓰이는 통계 지표는 다음과 같습니다.

  • 사분위수범위(IQR) — 응답의 사분위수범위가 좁을수록(예: 1.5 이하) 의견이 수렴되었다고 판단합니다.
  • 내용타당도비율(CVR) — Lawshe의 공식을 이용해 항목별로 “필수적이다”라고 응답한 전문가 비율을 계산하며, 패널 규모에 따른 최소 기준값(예: 10명이면 .62 이상)을 넘으면 타당한 항목으로 채택합니다.
  • 변이계수(CV) — 평균 대비 표준편차의 비율로, 0.5 이하이면 합의된 것으로 해석하는 경우가 많습니다.

학위논문에서는 이 중 하나만 쓰기보다 IQR과 CVR을 함께 보고해 합의 판단의 근거를 다각도로 제시하는 것이 설득력을 높입니다.

CVR 계산법을 조금 더 구체적으로 보면, 전체 패널 중 특정 항목을 “필수적이다” 또는 “매우 중요하다”라고 응답한 인원 수를 Ne, 전체 패널 수를 N이라 할 때 CVR = (Ne – N/2) / (N/2)로 계산합니다. 예를 들어 패널 15명 중 12명이 “필수적”이라고 응답했다면 CVR = (12-7.5)/7.5 = 0.6이 됩니다. Lawshe가 제시한 패널 규모별 최소 기준값은 10명일 때 .62, 15명일 때 .49처럼 패널이 클수록 낮아지므로, 이 예시의 0.6은 15명 기준(.49)을 넘어 채택되지만 10명 패널이었다면 기준(.62)에 못 미칩니다. 자신의 패널 규모에 맞는 기준값을 연구계획 단계에서 미리 확인해두어야 합니다.

정성적 방법인데 학위논문 심사에서 인정받을 수 있나요

델파이 기법은 질적 자료 수집(개방형 의견)과 양적 통계 분석(IQR, CVR 등)을 결합한 혼합연구 성격을 갖고 있어, 정성적 방법이라는 이유로 폄하되지 않습니다. 오히려 국내외 정책학·행정학 학회지에 게재된 델파이 연구가 상당히 축적되어 있어, 방법론적 정당성을 확보하기 쉬운 편입니다. 다만 심사에서 “왜 설문조사나 통계분석이 아닌 델파이를 선택했는가”라는 질문에는 “아직 실증자료가 축적되지 않은 미래지향적 정책 방향을 다루기 때문”이라는 논리로 답할 수 있어야 합니다. 방법론 장에는 델파이 기법의 이론적 배경(전문가 판단의 구조화된 수렴, 익명성을 통한 집단사고 방지)을 먼저 설명한 뒤, 자신의 연구에 왜 이 방법이 적합한지를 연결하는 순서로 서술하면 논리적 흐름이 자연스러워집니다.

5단계: 결과를 논문에 보고하기

결과 장에는 라운드별 항목 변화 과정, 최종 합의된 항목 목록과 그 순위, 그리고 각 항목의 평균·표준편차·CVR·IQR을 표로 제시하는 것이 관례입니다. 아래는 가상의 예시입니다.

항목 평균(가상) CVR(가상) IQR(가상) 합의 여부
지역 맞춤형 재정지원 확대 4.6/5 .82 0.75 합의
청년 정착 인센티브 강화 4.3/5 .71 1.00 합의
행정구역 통합 추진 3.1/5 .38 2.25 미합의

결과 서술은 “3라운드에 걸친 델파이 조사 결과, 전체 14개 항목 중 11개 항목이 합의 기준(IQR≤1.5, 패널 15명에 해당하는 Lawshe 기준값 CVR≥.49)을 충족했으며, 그중 ‘지역 맞춤형 재정지원 확대’가 가장 높은 우선순위로 평가되었다”처럼 통계 기준과 결과를 함께 명시하는 방식이 일반적입니다.

델파이 조사 결과 정책 우선순위 합의 항목을 보여주는 막대그래프
최종 합의된 항목은 순위와 통계 지표를 함께 표시한 그래프나 표로 제시합니다.

행정학 논문에 델파이 기법을 적용한 예시 (가상)

“인구감소지역 지원 정책의 우선순위”를 주제로 한 논문을 가정해보겠습니다.

  • 연구 질문: 인구감소지역 지원을 위한 정책 수단 중 전문가들이 가장 중요하다고 판단하는 우선순위는 무엇인가?
  • 패널: 지역발전 연구기관 연구위원 6명, 관련 부처 공무원 5명, 대학 교수 4명, 총 15명
  • 1라운드: 선행연구와 정책 문헌에서 추출한 12개 정책 수단에 대한 개방형 의견 수렴, 2개 항목 추가되어 14개로 확정
  • 2~3라운드: 14개 항목에 대한 중요도를 5점 척도로 평정, IQR과 CVR 기준으로 합의 여부 판정
  • 결과: 최종 11개 항목이 합의에 도달, 우선순위 상위 3개 항목을 정책 제언으로 제시

연구 문제를 먼저 정리하고 싶다면 논문 연구문제·연구목적 작성법을, 행정학 논문 전반의 흐름이 필요하다면 행정학 논문 작성법을 참고하십시오.

설문지는 어떻게 구성하나요

델파이 설문지는 라운드마다 형태가 달라집니다. 1라운드는 개방형 질문 위주로 구성해 전문가들이 자유롭게 의견을 제시하도록 하고, 2라운드부터는 1라운드에서 도출된 항목들을 폐쇄형 평정 척도(보통 5점 또는 7점 리커트 척도)로 제시합니다. 각 항목에는 “매우 중요하지 않음”부터 “매우 중요함”까지의 척도와 함께, 응답자가 자유롭게 의견을 추가할 수 있는 개방형 여백을 함께 두는 것이 좋습니다. 이렇게 하면 통계적 수렴 과정에서 놓칠 수 있는 소수 의견도 함께 기록할 수 있습니다.

설문지 안내문에는 델파이 조사의 목적, 익명성 보장 방식, 예상 소요 시간, 총 라운드 수를 명확히 안내해야 합니다. 특히 전문가들이 바쁜 일정 속에서 여러 라운드에 걸쳐 참여해야 하므로, 각 라운드의 소요 시간을 15~20분 이내로 설계하는 것이 응답률을 유지하는 데 도움이 됩니다.

패널 규모는 어떻게 정하나요

델파이 기법은 통계적 대표성보다 전문가 판단의 질을 중시하는 방법이므로, 일반 설문조사처럼 표본크기 계산 공식을 적용하지 않습니다. 대신 연구 목적과 전문가 접근 가능성을 고려해 패널 규모를 정합니다. 아래 규모는 절대 기준이 아니라 계획 단계에서 참고할 수 있는 대략적인 범위입니다.

연구 성격 권장 패널 규모
단일 정책 영역의 세부 우선순위 도출 10~15명
여러 이해관계자 집단의 의견을 균형 있게 반영 15~25명
전국 단위 대규모 정책 방향 설정 25명 이상(다만 학위논문에서는 드묾)

패널이 특정 집단(예: 공무원)에 치우치면 결과가 그 집단의 시각만 반영할 위험이 있으므로, 최소 2~3개 이상의 이해관계자 집단을 포함하는 것이 바람직합니다. 패널 선정 절차 자체도 논문 방법론 장에 구체적으로 서술해야 하는데, 어떤 기준으로 후보를 물색했는지(예: 관련 학회 명단, 부처 추천, 선행연구 저자 목록), 최종 승낙률은 얼마였는지까지 기록해두면 재현 가능성 측면에서 높은 평가를 받을 수 있습니다.

자주 저지르는 실수

  • 패널 전문성을 제대로 검증하지 않음 — “아는 사람이라서” 섭외하면 심사에서 패널 선정 기준을 설명하기 어렵습니다. 경력 연수, 소속, 전문 분야를 명확한 기준으로 제시해야 합니다.
  • 라운드 사이 피드백을 생략함 — 이전 라운드 결과를 전문가에게 되돌려주지 않으면 델파이 기법의 핵심 절차를 빠뜨린 것이 되어 방법론적으로 인정받기 어렵습니다.
  • 합의 기준을 사전에 정하지 않음 — 결과를 본 뒤에 기준을 정하면 자의적이라는 지적을 받을 수 있으므로, 연구 설계 단계에서 합의 기준(IQR, CVR 등)을 미리 명시해야 합니다.
  • 중도 탈락자를 고려하지 않음 — 라운드가 진행될수록 응답률이 떨어지는 경우가 많으므로, 처음부터 여유 있게 패널을 구성하고 중도 탈락률을 논문에 보고해야 합니다.
  • 익명성을 제대로 보장하지 않음 — 패널 구성원이 서로의 응답을 알아볼 수 있는 형태로 피드백을 제공하면 델파이 기법의 핵심 전제가 무너집니다. 피드백은 항상 집단 통계치로만 제공해야 합니다.
  • 합의된 항목만 강조하고 미합의 항목을 언급하지 않음 — 미합의로 남은 항목도 왜 전문가들 사이에 의견이 갈렸는지 논의하면 연구의 깊이가 더해집니다. 미합의 자체가 흥미로운 발견일 수 있습니다.

델파이 기법과 다른 합의 도출 방법 비교

방법 특징 적합한 상황
델파이 기법 익명·반복 라운드로 의견 수렴 권위자 영향 없이 전문가 판단을 구조화하고 싶을 때
초점집단면접(FGI) 대면 토론으로 실시간 상호작용 참가자 간 상호작용 자체에서 통찰을 얻고 싶을 때
명목집단기법(NGT) 대면이지만 개별 아이디어 제시 후 투표 짧은 시간 안에 우선순위를 정해야 할 때

델파이 기법 적용 전 체크리스트

  • 연구 질문이 우선순위·중요도·동의 정도를 묻는 형태로 구성되어 있는가
  • 전문가 패널의 선정 기준(전문성, 다양성)을 명확히 세웠는가
  • 라운드 수와 각 라운드의 목적을 사전에 계획했는가
  • 합의 판단 기준(IQR, CVR 등)을 자료 수집 전에 정했는가
  • 라운드 사이 피드백 제공 절차를 설계했는가
  • 중도 탈락 가능성을 고려해 여유 있게 패널을 구성했는가

자주 묻는 질문 (FAQ)

델파이 기법에 필요한 전문가는 최소 몇 명인가요?

절대적인 기준은 없지만, 학위논문 수준의 행정학 델파이 연구는 보통 10~20명 규모의 패널로 진행됩니다. 패널이 10명 미만이면 CVR 같은 통계 지표의 최소 기준값이 지나치게 높아져 항목 대부분이 미합의로 분류될 위험이 있고, 20명을 크게 넘으면 라운드마다 응답을 회수하고 피드백을 준비하는 행정 부담이 커집니다. 지도교수와 상의해 연구 주제의 범위와 접근 가능한 전문가 수를 함께 고려해 패널 규모를 정하는 것이 현실적입니다.

델파이 기법에는 통계 프로그램이 꼭 필요한가요?

SPSS나 R 같은 통계 프로그램이 없어도 진행할 수 있습니다. IQR, 평균, 표준편차는 엑셀만으로 충분히 계산할 수 있고, CVR도 Lawshe 공식을 엑셀 수식으로 직접 만들어 쓰는 경우가 많습니다. 다만 패널 규모가 커지거나 여러 라운드의 응답을 한 번에 비교해야 한다면 SPSS의 기술통계 기능을 활용하는 것이 시간을 아낄 수 있습니다.

전문가가 라운드 중간에 응답을 그만두면 어떻게 하나요?

중도 탈락은 델파이 연구에서 드물지 않게 발생합니다. 처음부터 예상 탈락률을 감안해 목표 패널보다 20~30% 여유 있게 섭외해두는 것이 안전합니다. 라운드 중간에 탈락자가 생기면 논문 방법론 장에 최초 섭외 인원, 라운드별 최종 응답 인원, 탈락 사유(연락 두절, 개인 사정 등)를 표로 정리해 보고해야 하며, 탈락자를 임의로 다른 전문가로 교체하는 것은 델파이 절차의 일관성을 해치므로 권장되지 않습니다.

델파이 기법과 설문조사를 함께 써도 되나요?

가능합니다. 예비 설문조사로 전체 이해관계자의 일반적인 인식을 파악한 뒤, 그 결과를 바탕으로 델파이 패널에게 제시할 항목을 추출하는 방식은 국내 행정학 논문에서 흔히 쓰이는 혼합설계입니다. 다만 두 방법의 표본(응답자)이 다르다는 점을 방법론 장에서 명확히 구분해 설명해야 하며, 설문조사 결과와 델파이 결과를 마치 같은 성격의 자료인 것처럼 합쳐서 해석하지 않도록 주의해야 합니다.

합의 기준(IQR, CVR)을 충족하지 못한 항목은 논문에서 어떻게 처리하나요?

미합의 항목을 결과에서 빼고 언급하지 않는 것보다, 왜 전문가들의 의견이 갈렸는지를 고찰에서 논의하는 편이 논문의 완성도를 높입니다. 예를 들어 특정 항목에 대해 공무원 패널과 학계 패널의 응답이 뚜렷하게 갈렸다면, 두 집단이 처한 입장 차이(예산 제약 대 정책 이상)를 근거로 해석을 제시할 수 있습니다. 미합의 자체를 “연구의 한계”가 아니라 “전문가 집단 간 인식 차이를 보여주는 발견”으로 서술하는 것이 좋습니다.

델파이 조사는 온라인 설문 도구로 진행해도 되나요?

구글폼이나 네이버폼 같은 온라인 설문 도구로 충분히 진행할 수 있습니다. 다만 라운드마다 이전 응답 결과를 함께 보여주는 화면 구성이 필요하므로, 설문 링크에 이전 라운드 요약 통계를 이미지나 표로 첨부하는 방식을 많이 씁니다. 전문가별 응답을 라운드 간에 연결해 추적해야 하므로, 완전 익명 응답이 아니라 개인별 고유 코드나 이메일로 응답자를 식별하되 결과 공개 시에는 개인정보를 제거하는 방식을 권장합니다.

더 읽어보면 좋은 자료

정성적 자료와 통계적 방법을 결합하는 다른 설계가 궁금하다면 매개효과·조절효과 분석 완전 가이드를 참고할 수 있으며, 연구의 필요성을 논증하는 절을 함께 준비하고 싶다면 연구의 필요성 쓰는 법: 3단 논증 구조를 참고하십시오.

Tesify로 델파이 연구 설계를 정리하는 법

패널 구성 기준, 라운드 설계, 합의 판정 기준까지 한 번에 정리하려면 생각보다 챙길 것이 많습니다. Tesify는 학위논문의 장(章) 구성과 문단 흐름을 정리하도록 돕는 AI 논문 작성 도구로, 지금까지 9,000명 이상의 학생이 15,000개 이상의 장을 작업했습니다. 모든 문장은 100% 본인이 직접 쓰는 것을 원칙으로 합니다. 실제 합의 판정과 통계 산출은 반드시 수집된 응답 자료를 직접 검토해 확정해야 하며, 라운드 수를 2라운드로 할지 3라운드로 할지는 1라운드 결과의 항목 합의율을 확인한 뒤 결정하는 것이 현실적입니다. 패널 섭외 이메일과 설문 안내문, 라운드별 피드백 문서의 형식도 미리 정해두면 조사 진행이 한결 매끄러워집니다. Tesify에서 논문 작성 시작하기

AI와 함께 학위논문 쓰기

구조 설계부터 집필, APA 참고문헌 정리까지 — 학문적 진실성을 지키며. 무료 가입, 신용카드 불필요.

Tesify 무료로 시작하기 →