설문 문항 초안 만들기와 검토하기

지난 글에서는 공문과 보고서 초안 작성에 AI Agent를 활용하는 방법을 이야기했습니다. 공문과 보고서는 형식과 책임이 분명한 문서라서, AI Agent에게 맡길 때도 목적, 대상, 기한, 근거를 사람이 잘 정리해 주어야 했습니다. 이번에는 조금 다른 문서, 그러나 교육전문직 업무에서 정말 자주 만나는 설문 문항을 다루어 보려고 합니다.

 

연수 사전 설문, 만족도 조사, 정책 요구 조사, 운영 결과 설문은 겉으로 보기에는 단순해 보입니다. 문항 몇 개를 만들고 선택지를 붙이면 될 것 같지만, 실제로는 꽤 많은 판단이 들어갑니다. 무엇을 알고 싶은지, 누구에게 물을 것인지, 응답 결과를 어떻게 활용할 것인지가 정리되지 않으면 설문은 금방 길어지고 모호해집니다.

 

AI Agent는 설문 문항을 만드는 데 꽤 유용합니다. 특히 빈 화면에서 처음 문항을 짜야 할 때, 기존 설문을 수정해야 할 때, 객관식과 서술형 문항의 균형을 잡아야 할 때 도움을 받을 수 있습니다. 다만 설문은 문장이 자연스럽다고 좋은 것이 아닙니다. 문항이 측정하려는 것을 제대로 묻고 있는지, 응답자가 오해하지 않을지, 결과를 실제 의사결정에 쓸 수 있을지가 더 중요합니다.

 

1. 설문은 질문을 많이 만드는 일이 아니라 판단할 자료를 만드는 일이다

 

설문을 만들 때 가장 먼저 해야 할 일은 문항 수를 정하는 것이 아닙니다. 이 설문 결과로 무엇을 판단할 것인지 정하는 일입니다. 연수 사전 설문이라면 참여자의 배경과 기대를 파악해 연수 내용을 조정하는 것이 목적일 수 있습니다. 만족도 조사라면 운영 방식, 강의 내용, 자료, 시간 배분, 향후 개선점을 확인하려는 목적일 수 있습니다.

 

목적이 흐릿하면 문항도 흐릿해집니다. “좋았나요?”, “도움이 되었나요?” 같은 질문만 반복되면 결과를 받아도 무엇을 바꿔야 할지 알기 어렵습니다. 반대로 목적이 분명하면 문항은 훨씬 단단해집니다. “연수 내용이 학교 현장에서 적용 가능한 수준이었는가”, “실습 시간이 충분했는가”, “추후 심화 연수에서 다루고 싶은 주제는 무엇인가”처럼 결과 활용이 보이는 질문이 됩니다.

 

저는 AI Agent에게 설문 초안을 요청하기 전에 먼저 설문의 목적을 한두 문장으로 적어 둡니다. “초등 교원 대상 AI 활용 연수의 사전 요구를 파악하고, 참여자의 활용 수준에 따라 실습 난이도를 조정하기 위한 설문”처럼 적어 두면 AI Agent가 문항 방향을 잡기 쉽습니다.

 

2.  AI Agent에게는 설문 배경과 활용 계획을 함께 알려 주어야 한다

 

AI Agent에게 “연수 만족도 설문 만들어 줘”라고만 말하면 일반적인 문항이 나옵니다. 물론 출발점으로는 쓸 수 있지만, 실제 업무에 바로 쓰기에는 부족한 경우가 많습니다. 대상이 교사인지, 관리자 대상인지, 교육전문직 대상인지에 따라 문항 언어가 달라져야 하고, 연수가 강의 중심인지 실습 중심인지에 따라 확인할 항목도 달라져야 합니다.

 

그래서 저는 설문을 요청할 때 다음과 같은 정보를 함께 주는 편이 좋다고 봅니다.

 

“초등 교원 대상 3시간 AI 활용 수업 설계 연수의 사전 설문 문항을 만들어 줘. 목적은 참여자의 생성형 AI 활용 경험, 수업 적용 관심 주제, 실습 난이도 선호를 파악하는 것이야. 문항은 10개 이내로 하고, 객관식 7개와 서술형 3개 정도로 구성해 줘. 결과는 연수 자료와 실습 예시를 조정하는 데 사용할 예정이야.”

 

이렇게 요청하면 AI Agent는 단순한 만족도 문항보다 업무에 맞는 설문 초안을 만들어 줍니다. 문항 수, 응답 방식, 대상, 활용 계획이 함께 들어갔기 때문입니다. 특히 “결과를 어디에 쓸 것인지”를 알려 주면 불필요한 질문이 줄어듭니다.

 

Telegram으로 Hermes Agent에게 요청할 때도 같은 방식이 가능합니다. 이동 중에 떠오른 설문 목적을 짧게 적어 두고, 나중에 “위 메모를 바탕으로 설문 초안을 만들어 줘”라고 하면 됩니다. 설문 문항도 결국 업무 메모에서 출발합니다.

 

3) 객관식 문항은 선택지가 더 중요할 때가 많다

 

설문 초안을 만들다 보면 질문 문장에만 집중하기 쉽습니다. 하지만 객관식 문항에서는 선택지가 결과의 질을 좌우합니다. 선택지가 서로 겹치거나, 빠진 경우가 있거나, 응답자가 어느 쪽을 골라야 할지 애매하면 결과 해석이 어려워집니다.

 

예를 들어 “생성형 AI를 어느 정도 활용하고 있습니까?”라는 질문에 선택지를 “많이 사용한다, 보통이다, 적게 사용한다”로 두면 대략적인 분위기는 알 수 있습니다. 그러나 연수 설계에 활용하려면 조금 더 구체적인 선택지가 필요할 수 있습니다. “사용해 본 적 없음”, “개인적인 정보 검색이나 글쓰기 보조에 사용”, “수업 자료 제작에 가끔 사용”, “학생 활동 또는 평가 자료 설계에 활용”, “학교 업무 문서 작성에 활용”처럼 실제 활용 장면을 나누면 연수 구성에 더 도움이 됩니다.

 

AI Agent에게 선택지를 점검하게 할 수도 있습니다.

 

“이 객관식 문항의 선택지가 서로 겹치지 않는지, 빠진 응답 가능성이 있는지, ‘기타’가 필요한지 검토해 줘.”

 

이 요청은 생각보다 유용합니다. 사람이 만든 선택지는 만든 사람의 관점에 갇히기 쉽습니다. AI Agent는 완벽하지는 않지만, 선택지의 중복이나 누락 가능성을 한 번 더 드러내 줍니다.

 

4. 서술형 문항은 적게, 그러나 쓸모 있게 넣어야 한다

 

서술형 문항은 현장의 목소리를 듣는 데 좋습니다. 하지만 너무 많이 넣으면 응답 부담이 커지고, 나중에 분석도 어려워집니다. 특히 바쁜 교원이나 학교 담당자를 대상으로 하는 설문이라면 서술형 문항은 꼭 필요한 곳에만 넣는 편이 좋습니다.

 

AI Agent에게 설문 초안을 만들게 하면 서술형 문항을 여러 개 제안할 때가 있습니다. “의견을 자유롭게 적어 주세요” 유형의 문항이 많아지면 응답자는 피로감을 느낄 수 있습니다. 그래서 저는 서술형 문항을 넣을 때 목적을 분명히 하려고 합니다. 예를 들어 사전 설문에서는 “연수에서 꼭 다루었으면 하는 주제나 실제 고민을 적어 주세요”가 유용할 수 있습니다. 만족도 조사에서는 “향후 연수 개선을 위해 가장 보완되었으면 하는 점을 적어 주세요”가 더 직접적입니다.

 

서술형 문항은 응답자의 생각을 길게 받기 위한 공간이 아니라, 선택형 문항으로는 잡히지 않는 구체적인 요구를 받는 통로입니다. 따라서 문항 수를 줄이되, 답변이 실제 개선에 연결될 수 있도록 물어야 합니다.

 

5. AI Agent는 문항 검토자로도 쓸 수 있다

 

설문 문항을 만든 뒤에는 반드시 검토가 필요합니다. 문항이 너무 길지는 않은지, 한 문항에서 두 가지를 동시에 묻고 있지는 않은지, 특정 답변을 유도하고 있지는 않은지, 전문용어가 응답자에게 낯설지는 않은지 살펴보아야 합니다.

 

이때 AI Agent를 두 번째 역할로 활용할 수 있습니다. 처음에는 문항 초안 작성자로 쓰고, 다음에는 검토자로 쓰는 것입니다.

 

“아래 설문 문항을 검토해 줘. 한 문항에 두 가지 이상을 묻는 문항, 응답을 유도하는 표현, 모호한 용어, 선택지 중복, 결과 활용이 어려운 문항을 찾아서 수정안을 제안해 줘.”

 

이런 요청을 하면 AI Agent는 문항별로 문제 가능성을 표시해 줍니다. 물론 AI의 지적을 모두 받아들일 필요는 없습니다. 하지만 사람이 놓친 표현을 발견하는 데 도움이 됩니다. 특히 “만족도”처럼 익숙해서 무심코 쓰는 단어도, 실제로는 무엇에 대한 만족도인지 더 구체화해야 할 때가 있습니다.

 

교육공학 관점에서 보면 설문 문항은 작은 평가도구입니다. 측정하려는 구성개념이 있고, 응답 방식이 있고, 결과 해석이 있습니다. AI Agent가 초안을 빨리 만들어 주더라도, 문항의 타당성과 해석 가능성은 사람이 끝까지 확인해야 합니다.

 

6. 개인정보와 민감정보는 설문 단계에서부터 줄여야 한다

 

설문을 만들 때 자주 놓치는 부분이 개인정보입니다. 꼭 필요하지 않은 소속, 이름, 연락처, 학교명, 개인 경험을 묻고 있지는 않은지 확인해야 합니다. 특히 학생 관련 내용, 민원성 경험, 학교 내부 상황처럼 민감할 수 있는 내용은 설문 문항으로 다룰 때 신중해야 합니다.

 

AI Agent에게 설문 문항을 요청할 때도 실제 학생 정보나 민감한 사례를 그대로 넣지 않는 것이 좋습니다. 필요하면 상황을 일반화하거나 익명화해서 설명하면 됩니다. 예를 들어 “특정 학교에서 있었던 구체적 민원”을 그대로 쓰기보다, “학교 현장에서 발생할 수 있는 AI 활용 관련 우려 사례”처럼 바꾸어 전달하는 방식입니다.

 

설문 결과를 나중에 AI Agent에게 분석하게 할 계획이라면 처음부터 수집 항목을 줄이는 것이 더 안전합니다. 이름 없이도 분석이 가능한지, 학교명을 꼭 받아야 하는지, 응답자의 경력 범위를 넓게 묶어도 되는지 생각해 볼 필요가 있습니다. 업무경감은 빠르게 처리하는 것만이 아니라, 불필요한 민감정보를 만들지 않는 데서도 시작됩니다.

 

7. 설문 업무경감은 ‘문항 초안-검토-수정’의 반복을 줄이는 데서 온다

 

설문 문항 만들기는 생각보다 반복이 많습니다. 초안을 만들고, 문항 수를 줄이고, 선택지를 고치고, 서술형을 다듬고, 응답 순서를 바꾸고, 담당자나 동료 의견을 반영합니다. 이 과정에서 AI Agent는 초안을 빠르게 만들고, 검토 목록을 제시하고, 수정안을 여러 버전으로 비교하게 해 줍니다.

 

예를 들어 하나의 설문을 두 가지 버전으로 만들 수 있습니다. 교원 대상의 쉬운 표현 버전, 관리자 대상의 정책 판단용 버전처럼 나누어 볼 수 있습니다. 또는 15문항짜리 초안을 8문항으로 줄이면서 꼭 남겨야 할 문항과 삭제해도 되는 문항을 구분해 달라고 요청할 수도 있습니다.

 

이런 활용은 설문을 자동으로 완성한다는 의미가 아닙니다. 사람이 판단할 수 있는 여러 초안을 빠르게 확보한다는 의미에 가깝습니다. 설문은 결국 결과를 해석하고 활용할 사람이 책임져야 합니다. AI Agent는 그 전 단계의 문항 생산과 검토 시간을 줄여 주는 도구입니다.

 

마무리하며

 

설문 문항은 짧지만 가볍지 않습니다. 질문 하나가 응답자의 생각을 제한할 수도 있고, 선택지 하나가 결과 해석을 어렵게 만들 수도 있습니다. 그래서 AI Agent를 활용할 때도 문항을 많이 만드는 것보다, 설문의 목적과 결과 활용에 맞게 문항을 정리하는 것이 더 중요합니다.

 

Hermes Agent와 Telegram을 함께 쓰면 설문 목적을 메모하고, 초안을 만들고, 다시 검토하는 흐름을 빠르게 만들 수 있습니다. 바쁜 업무 중에도 “이 설문으로 무엇을 알고 싶은가”를 먼저 적고, AI Agent에게 문항 초안과 점검을 맡기면 설문 준비의 부담을 꽤 줄일 수 있습니다.