표본 크기 계산 방법｜설문은 몇 명이 필요할까? 신뢰수준 95%·오차 ±5%에서 385명이 나오는 이유와 모집단별 조견표, 표본오차·신뢰구간·A/B 테스트 필요 인원까지

결론: 신뢰수준 95%·허용오차 ±5%면 385명, 모집단이 작으면 더 적어도 된다

설문에 필요한 응답 수(표본 크기)는 ‘얼마나 확실하게(신뢰수준)’, ‘몇 퍼센트포인트의 오차까지 허용할지(허용오차)’를 정하면 계산으로 정해집니다. 흔히 쓰는 신뢰수준 95%·허용오차 ±5%라면, 모집단(알고 싶은 사람 전체)이 충분히 클 때 385명입니다. 385명이 응답했을 때 ‘예’가 40%라면, 실제 비율은 대략 35~45% 범위에 있다고 말할 수 있습니다.

아래에서는 385명이 어떻게 나오는지 식으로 확인한 뒤, 모집단이 작을 때의 수정, 응답 수로 오차와 신뢰구간을 구하는 역산, 회수율과 그룹별 인원, A/B 테스트의 유의차와 필요 인원 순서로 설명합니다. 숫자는 모두 표본 크기 계산 도구와 같은 계산으로 구했습니다.

필요 응답 수의 식: n ＝ z² × p(1 − p) ÷ e²로 385명

필요 응답 수의 기본 식은 n0 ＝ z² × p(1 − p) ÷ e²입니다. z는 신뢰수준으로 정해지는 값(95%면 1.96), p는 예상 응답 비율(‘예’가 몇 % 정도일지), e는 허용오차(±5%면 0.05)입니다. 응답을 무작위로 모으면 결과 비율의 흔들림(표준오차)은 √(p(1 − p) ÷ n)이 되므로, 그 z배가 허용오차 e 안에 들어가는 n을 거꾸로 구한 것입니다.

1. 1

   z를 제곱한다

   신뢰수준 95%의 z는 1.96이고, 1.96² ≈ 3.8415.

2. 2

   p(1 − p)를 곱한다

   응답 비율을 50%로 하면 0.5 × 0.5 ＝ 0.25. 3.8415 × 0.25 ≈ 0.9604.

3. 3

   e²으로 나눈다

   허용오차 ±5%면 0.05² ＝ 0.0025. 0.9604 ÷ 0.0025 ≈ 384.15.

4. 4

   올림한다

   인원은 정수이므로 올림해서 385명. 반올림하면 오차가 허용 범위를 조금 넘으므로 반드시 올림합니다.

신뢰수준을 바꾸면 z가 바뀝니다. 신뢰수준은 ‘같은 조사를 여러 번 반복했을 때 구간이 실제 값을 포함하는 비율’로, 높일수록 확실해지는 대신 필요한 인원이 늘어납니다.

허용오차는 e²으로 나누기 때문에 영향이 큽니다. ±5%를 ±2.5%로(절반으로) 줄이면 인원은 4배, ±1%면 9,604명으로 ±5%의 25배입니다. ‘최대한 정확하게’ 하려고 허용오차를 너무 작게 잡으면 금방 예산이 맞지 않게 됩니다.

10%와 90%는 같은 인원이 됩니다(‘예’가 10%면 ‘아니요’가 90%). 설문에는 문항이 여럿 있고 문항마다 비율이 다르므로, 전체 인원을 정할 때는 50%로 계산해 두는 것이 무난합니다.

유한모집단 수정: 모집단이 작으면 필요 응답 수가 줄어든다

385명은 모집단이 충분히 클 때(무한으로 볼 수 있을 때)의 값입니다. 직원 1,000명인 회사나 회원 500명인 동아리처럼 모집단이 작을 때는 유한모집단 수정 n ＝ n0 ÷ (1 ＋ (n0 − 1) ÷ N)을 적용해 줄일 수 있습니다. N은 모집단의 인원입니다.

1. 1

   무한일 때의 수를 구한다

   95%·±5%·비율 50%에서 n0 ≈ 384.15(올림하기 전의 값을 사용).

2. 2

   (n0 − 1) ÷ N을 구한다

   모집단 1,000명이면 (384.15 − 1) ÷ 1,000 ≈ 0.3831.

3. 3

   1 ＋ 그 값으로 나눈다

   384.15 ÷ 1.3831 ≈ 277.7. 올림해서 278명입니다. 모집단 10,000명이면 369.97로 370명이 됩니다.

표에서 보듯 모집단이 10만 명을 넘으면 ±5%의 필요 수는 383~385명으로 거의 변하지 않습니다. 전국 여론조사든 한 도시 주민 조사든 필요한 인원은 거의 같습니다. 필요한 인원을 정하는 것은 ‘모집단에 대한 비율’이 아니라 ‘응답자 수 그 자체’라는 것을 알 수 있습니다.

반대로 모집단이 작으면 비율이 커집니다. 100명인 부서에서 ±5%로 하려면 80명, 즉 80%가 응답해야 합니다. 모집단이 필요 응답 수의 20배에 못 미칠 때(±5%면 모집단이 약 7,700명보다 작을 때)는 알고 있는 모집단 수를 넣어 수정하면 인원을 눈에 띄게 줄일 수 있습니다.

응답 수로 표본오차 구하기: 400명이면 ±4.9%

이미 응답이 모였다면 식을 거꾸로 해서 ‘이 인원이면 오차가 몇 %인가’를 구할 수 있습니다. 표본오차는 e ＝ z × √(p(1 − p) ÷ n)이고, 모집단 N을 알 때는 √((N − n) ÷ (N − 1))을 곱합니다. 400명·95%·비율 50%면 1.96 × √(0.25 ÷ 400) ＝ 1.96 × 0.025 ≈ ±4.9%입니다.

표는 신뢰수준 95%·모집단이 충분히 클 때의 값입니다. 100명의 ±9.8%가 400명이면 ±4.9%로 절반이 되고, 다시 절반인 ±2.5% 안팎으로 하려면 1,500명 이상이 필요합니다. 오차는 √n에 반비례하므로 인원을 늘릴수록 ‘1명 늘렸을 때의 효과’는 작아집니다. 보고서에 ‘오차는 최대 ±○%’라고 쓸 때는 오차가 가장 큰 비율 50% 열의 값을 사용합니다.

모집단이 작으면 같은 응답 수라도 오차가 작아집니다. 모집단 1,000명 중 400명이 응답했다면 √((1,000 − 400) ÷ 999) ≈ 0.775를 곱해 ±3.8%입니다. 전원이 응답하면(n ＝ N) 조사한 범위에서는 오차가 0이 됩니다. 신뢰수준을 바꿨을 때 400명의 오차는 90%에서 ±4.1%, 99%에서 ±6.4%입니다.

신뢰구간 구하는 법: 왈드법과 윌슨법

결과 비율에 오차의 폭을 붙인 것이 신뢰구간입니다. 400명 중 120명(30%)이 ‘예’라고 답했다면, 왈드법(정규근사)으로는 30% ± 1.96 × √(0.3 × 0.7 ÷ 400) ≈ 30% ± 4.5%로, 95% 신뢰구간은 25.5~34.5%입니다. 교과서에서 흔히 보는 식으로, 응답 수가 수백 명이면 충분히 쓸 수 있습니다.

다만 왈드법은 응답 수가 적거나 비율이 0%나 100%에 가까울 때 구간이 부자연스러워집니다. 그래서 쓰는 것이 윌슨 점수법으로, 중심을 50% 쪽으로 조금 당기고 폭도 보정해서 계산합니다. 식이 조금 복잡하지만 도구에서는 두 방법을 나란히 보여 줍니다.

400명이면 두 방법이 거의 같지만, 30명 중 3명이 되면 왈드법은 하한이 음수가 되어 0%에서 잘리고 상한도 작게 나옵니다. 30명 중 0명이면 왈드법은 ‘0~0%’로 오차가 전혀 없는 것 같은 답을 냅니다. 윌슨법이라면 ‘0명이어도 실제로는 11% 정도까지는 있을 수 있다’는 상식에 맞는 폭이 나옵니다. 소규모 조사나 불량률·클레임률처럼 0%에 가까운 비율을 다룰 때는 윌슨법을 사용하세요.

회수율로 배포 수를 역산하기·그룹별 필요 인원

계산으로 나오는 것은 ‘모아야 하는 응답의 수’입니다. 설문은 모두가 응답해 주지 않으므로, 실제로 배포·의뢰할 수는 필요 응답 수 ÷ 회수율로 역산합니다.

회수율은 배포 방법이나 상대와의 관계에 따라 크게 달라집니다. 사내 설문에서 응답을 독려하면 절반 이상 모이는 경우도 많지만, 고객 대상 이메일 설문은 몇 %에 그치는 일도 드물지 않습니다. 과거 회수율을 알면 그것을 쓰고, 모르면 낮게 잡아 두는 것이 안전합니다. 모집단 1,000명에 회수율 30%라면 최대 1,000명에게 배포해도 응답은 300명 정도로, ±5%에 필요한 278명에 겨우 닿는 계산입니다.

성별·연령별처럼 그룹별 결과를 비교하고 싶을 때는 그룹마다 필요한 응답 수를 모읍니다. 5개 연령대 각각에서 ±5%로 하려면 385명 × 5 ＝ 1,925명, 회수율 30%라면 6,417명에게 배포해야 합니다. 전체로 385명만 모으면 각 연령대는 77명 안팎으로 오차가 ±11% 정도가 됩니다.

두 비율의 차이 검정: A/B 테스트의 차이는 우연일까

A/B 테스트나 남녀·연령대별로 ‘예’의 비율을 비교할 때 쓰는 것이 두 비율의 차이 검정(z 검정)입니다. 두 그룹을 합친 비율 p̄로 차이의 표준오차 √(p̄(1 − p̄) × (1/n1 ＋ 1/n2))를 구하고, 차이가 그 몇 배인지(z)로 p 값을 구합니다. p 값이 유의수준(보통 5%)보다 작으면 ‘우연이라고 보기 어려운 차이＝유의차 있음’으로 판단합니다.

1. 1

   각각의 비율을 구한다

   A는 1,000명 중 100명이 클릭해 10%, B는 1,000명 중 130명으로 13%. 차이는 3퍼센트포인트(B는 A의 1.3배).

2. 2

   합친 비율로 표준오차를 구한다

   p̄ ＝ (100 ＋ 130) ÷ 2,000 ＝ 11.5%. √(0.115 × 0.885 × (1/1,000 ＋ 1/1,000)) ≈ 0.01427.

3. 3

   z와 p 값을 구한다

   z ＝ 0.03 ÷ 0.01427 ≈ 2.10. 양측 p 값은 약 0.035로 5%보다 작으므로 유의차가 있습니다.

같은 10%와 13%라도 인원이 다르면 결론이 달라집니다. 유의한지 아닌지는 차이의 크기뿐 아니라 몇 명으로 비교했는지에 따라 달라집니다. 차이의 95% 신뢰구간(왈드법, 합치지 않은 표준오차)도 함께 보면 ‘차이가 어느 정도일지’를 알 수 있습니다.

300명씩이면 신뢰구간이 0을 걸치고 있어 ‘B가 더 낮을’ 가능성도 배제할 수 없습니다. 1,000명씩이면 구간 전체가 플러스지만 하한은 ＋0.21퍼센트포인트로, ‘B가 확실히 높지만 차이는 0.2퍼센트포인트 정도일 수도 있다’는 폭이 있습니다. 덧붙여 이 z 검정의 p 값은 2×2 표의 카이제곱 검정(예이츠 보정 없음)의 p 값과 같습니다.

A/B 테스트에 필요한 인원: 검정력 80%에서 10% → 13%면 그룹당 1,774명

‘실제로 차이가 있다면 그것을 놓치지 않기’ 위해 필요한 인원은 현재 비율 p1, 기대하는 비율 p2, 유의수준, 검정력으로 정해집니다. 검정력은 ‘실제로 차이가 있을 때 유의차 있음으로 판정할 수 있는 확률’로, 보통 80%나 90%로 둡니다. 그룹당 인원은 n ＝ (z_α/2 × √(2p̄(1 − p̄)) ＋ z_β × √(p1(1 − p1) ＋ p2(1 − p2)))² ÷ (p1 − p2)²이며, 유의수준 5%(양측)면 z_α/2 ＝ 1.96, 검정력 80%면 z_β ≈ 0.842, 90%면 ≈ 1.282입니다.

인원은 그룹당이며 A와 B의 합계는 그 2배입니다. 10% → 13%면 1,774명씩, 합계 3,548명. 차이가 3퍼센트포인트에서 2퍼센트포인트가 되면 3,841명으로 2배 이상, 1퍼센트포인트면 14,751명으로 늘어납니다. 인원은 차이의 제곱에 반비례하므로 ‘작은 개선’을 확인하려 할수록 대량의 접속이 필요합니다. 같은 5퍼센트포인트 차이라도 10% → 15%면 686명, 50% → 55%면 1,565명으로, 비율이 50%에 가까울수록 인원이 많아집니다.

• 패턴별 하루 접속이 200명이라면 1,774명이 모이기까지 약 9일이 걸립니다. 기간은 미리 정하고, 요일에 따른 편향이 생기지 않도록 1주 단위로 하는 것이 일반적입니다.
• 중간에 p 값을 여러 번 보다가 5% 아래로 내려간 순간 멈추면, 실제로는 차이가 없어도 ‘유의차 있음’이 나오기 쉬워집니다. 정한 인원에 도달할 때까지 판정하지 않는 것이 원칙입니다.
• B·C·D… 여러 패턴을 동시에 비교하면 그중 하나가 우연히 유의해질 확률이 올라갑니다. 비교하는 조합이 많을 때는 유의수준을 엄격하게 하거나(본페로니 보정 등) 패턴을 줄입니다.

계산대로 되지 않을 때: 편향은 인원을 늘려도 사라지지 않는다

지금까지의 식은 모두 ‘모집단에서 무작위로 뽑은 사람이 응답한다’는 것을 전제로 합니다. 표본오차는 우연한 흔들림에 의한 어긋남만을 나타낸 값입니다. 누가 응답하는지에 편향이 있으면, 그 어긋남은 인원을 수천 명으로 늘려도 작아지지 않습니다.

• ‘1만 명이 응답한 웹 설문’이라도 응답하고 싶은 사람만 응답하는 방식이라면, 무작위로 뽑은 400명 조사보다 정확하다고 할 수 없습니다.
• 유의차는 ‘차이가 있다’는 것만 보여 줄 뿐, 차이가 큰지는 별개의 문제입니다. 수만 명을 모으면 0.1퍼센트포인트의 차이도 유의해집니다. 차이의 신뢰구간을 보고 의미 있는 크기인지 판단하세요.
• 문항마다 응답한 인원이 다를 때(응답하지 않아도 되는 문항이 있을 때)는 문항별 인원으로 오차를 구합니다.
• 주관식 응답은 비율 계산에 맞지 않으므로, 자주 나오는 단어를 워드 클라우드 등으로 정리하고 건수를 곁들여 보고합니다.

표본 크기 계산 도구로 계산하는 순서

1. 1

   필요 응답 수를 구한다

   ‘필요 응답 수’에서 신뢰수준(90%·95%·99%)과 허용오차를 고르고, 모집단 크기를 입력합니다(모르면 빈칸). 예상 응답 비율을 모르면 50% 그대로 둡니다. 수정 전(모집단이 무한일 때)과 수정 후의 인원이 나란히 나옵니다.

2. 2

   배포 수와 그룹별 인원을 구한다

   회수율을 입력하면 배포·의뢰할 수가, 비교할 그룹 수를 입력하면 전체에 필요한 응답 수가 나옵니다.

3. 3

   모인 응답의 오차를 확인한다

   ‘오차·신뢰구간’에 응답 수와 결과 비율을 입력하면 최대 표본오차와 그 비율의 신뢰구간(윌슨법·왈드법)이 나옵니다. 모집단을 입력하면 유한모집단 수정이 적용됩니다.

4. 4

   두 비율을 비교한다

   ‘두 비율의 차이(A/B 테스트)’에 A·B 각각의 인원과 ‘예’(클릭·구매 등)의 수를 입력하면 차이·배율·p 값·유의차 여부·차이의 신뢰구간이 나옵니다. 아래 칸에 현재 비율과 기대 비율을 넣고 검정력을 고르면 그룹당 필요한 인원이 나옵니다.

5. 5

   조견표로 대략 파악한다

   ‘조견표’에서 모집단 × 허용오차별 필요 응답 수와, 응답 수 × 비율별 표본오차를 한눈에 볼 수 있습니다.

계산은 모두 브라우저 안에서 이루어지며, 입력한 값은 어디에도 전송되지 않습니다. 이 글의 숫자도 도구와 같은 계산으로 구한 것이므로 글의 예를 그대로 넣어 확인할 수 있습니다. 결과는 텍스트나 URL로 복사해 조사 기획서나 보고서에 바로 붙일 수 있습니다.

자주 묻는 질문

설문은 몇 명이 응답하면 되나요?

신뢰수준 95%·허용오차 ±5%라면 모집단이 충분히 클 때 385명입니다. 모집단이 10,000명이면 370명, 1,000명이면 278명, 500명이면 218명, 100명이면 80명으로 모집단이 작을수록 적어도 됩니다. ±3%로 하면 1,068명, ±10%면 97명입니다.

385명이라는 숫자는 어디서 나오나요?

n ＝ z² × p(1 − p) ÷ e²에 신뢰수준 95%의 z ＝ 1.96, 응답 비율 p ＝ 0.5, 허용오차 e ＝ 0.05를 넣은 값입니다. 1.96² × 0.25 ÷ 0.0025 ≈ 384.15를 올림해서 385명이 됩니다.

응답 비율은 왜 50%로 두나요?

p(1 − p)가 50%일 때 가장 커서 필요한 인원이 최대가 되기 때문입니다. 50%로 계산해 두면 결과가 어떤 비율이 되어도 오차가 허용오차 안에 들어갑니다. 예상이 10%라면 ±5%에서 139명까지 줄일 수 있지만, 예상이 빗나가면 오차가 커집니다.

응답 수가 400명이면 오차는 몇 %인가요?

신뢰수준 95%에서 가장 클 때(결과가 50%일 때) ±4.9%입니다. 100명이면 ±9.8%, 1,000명이면 ±3.1%입니다. 모집단 1,000명 중 400명이 응답했다면 유한모집단 수정으로 ±3.8%까지 작아집니다.

모집단이 100만 명일 때와 1만 명일 때 필요한 인원이 다른가요?

거의 같습니다. 95%·±5%에서 100만 명이면 384명, 10만 명이면 383명, 1만 명이면 370명입니다. 필요한 인원을 정하는 것은 모집단에 대한 비율이 아니라 응답자 수 그 자체이며, 모집단의 영향이 커지는 것은 수천 명 이하일 때입니다.

A/B 테스트에서 클릭률 10%와 13%의 차이는 유의한가요?

A·B 모두 1,000명에게 보여 주고 100명과 130명이 클릭했다면 p 값은 약 0.035로, 유의수준 5%에서 유의차가 있습니다. 차이의 95% 신뢰구간은 ＋0.21~＋5.79퍼센트포인트입니다. 같은 비율이라도 각 300명이면 p 값은 약 0.25로 유의차가 없습니다.

A/B 테스트에는 몇 명이 필요한가요?

10%를 13%로 올리고 싶을 때 유의수준 5%·검정력 80%라면 그룹당 1,774명(합계 3,548명)입니다. 검정력 90%면 2,375명, 차이가 2퍼센트포인트(10% → 12%)면 3,841명, 1퍼센트포인트면 14,751명으로, 차이가 작을수록 급격히 늘어납니다.

응답이 적을 때 신뢰구간은 어떻게 구하나요?

윌슨 점수법을 사용합니다. 30명 중 3명(10%)이면 95% 신뢰구간은 3.5~25.6%입니다. 흔히 쓰는 정규근사(왈드법)로는 0~20.7%로 하한이 0에서 잘리고, 30명 중 0명이면 0~0%로 폭이 나오지 않지만, 윌슨법이라면 0~11.4%로 현실적인 폭이 됩니다.