피드백 루프

알파 테스트와 베타 테스트의 차이, 언제 무엇을 할까

5분 분량

알파 테스트는 첫 번째 테스트 단계로, 아직 빠진 부분이 있고 불안정하다고 알려진 빌드를 회사 안에서 테스트한다. 그다음이 베타 테스트다. 기능이 모두 갖춰졌거나 거의 갖춰진 빌드를 팀 밖의 실제 사용자에게 보내면, 사용자는 자신의 환경에서 써 보고 무엇이 깨지거나 헷갈리는지 알려 준다. 알파는 소프트웨어가 애초에 동작하는지를 묻는다. 베타는 그 소프트웨어가 대상 사용자에게, 그들의 기기와 데이터와 습관 속에서 동작하는지를 묻는다.

알파 테스트베타 테스트
테스트하는 사람개발자, QA, 다른 직원회사 밖의 고객과 지원자
빌드 상태기능을 계속 추가 중, 알려진 버그 많음기능이 완료되었거나 거의 완료, 버그 예상
환경실험실, 스테이징 또는 팀 자체 계정실제 기기, 실제 데이터, 실제 업무 흐름
핵심 질문설계대로 동작하는가?실제 사용자에게 통하는가?
전형적인 피드백재현 단계가 있는 정확한 버그 리포트증상, 혼란, 빠진 기능
끝나는 조건외부에 보여 줄 만큼 빌드가 완성되고 안정됨차단 문제가 없고 피드백이 잦아듦

알파 테스트란 무엇인가

알파 테스트는 초기 빌드를 내부에서 테스트하는 것이다. 테스트하는 사람들은 제품을 잘 알고 로그를 읽을 수 있으며 무언가 깨질 것을 받아들이므로, 외부 사람이 보기 전에 큰 문제를 찾는 것이 목표다.

위키백과의 소프트웨어 릴리스 수명 주기 문서는 알파 단계를 소프트웨어 테스트의 첫 단계로 설명한다. 개발자가 화이트박스 기법으로 테스트하고, 이후 별도의 테스트 팀이 블랙박스 또는 그레이박스 기법으로 빌드를 검증한다. 많은 팀은 여기에 직원들이 자기 업무에 제품을 직접 쓰는 세 번째 층을 더한다. 이 관행에는 도그푸딩이라는 이름이 있으며, 대본이 있는 테스트가 건드리지 못하는 불편함을 찾아낸다.

베타 테스트란 무엇인가

베타 테스트는 거의 완성된 빌드를 정식 출시 전에 실제 사용자 앞에 내놓는 것이다. 건물 밖에서만 드러나는 문제를 잡아낸다. 다른 기기와 브라우저, 지저분한 데이터, 특이한 업무 흐름, 제품 내부를 본 적 없는 사람들이 그런 문제를 만든다.

같은 위키백과 문서에 따르면 베타 단계는 일반적으로 소프트웨어의 기능이 모두 갖춰졌지만 알려졌거나 알려지지 않은 버그가 있을 가능성이 높을 때 시작된다. 비공개 베타는 선별한 그룹을 초대하는 방식이며, 그 기능을 요청한 고객이나 디자인 파트너인 경우가 많다. 공개 베타는 누구나 참여할 수 있다. 일부 제품은 계속 업데이트하면서 완성을 선언하지 않는, 이른바 영구 베타 상태로 남는다.

알파 테스트와 베타 테스트는 무엇이 다른가

두 단계 사이에서는 네 가지가 바뀐다. 누가 테스트하는지, 빌드가 얼마나 완성되었는지, 어디에서 실행되는지, 리포트가 어떻게 처리되는지다. 알파 테스터는 통제된 환경에서 미완성 빌드를 다루는 내부 사람이고, 베타 테스터는 완성된 빌드를 실제 업무에 쓰는 외부 사람이다.

마지막 차이가 리포트를 읽는 사람들에게 가장 중요하다. 알파 리포트는 보통 코드를 아는 사람에게서 나오고, 구성 요소를 짚고 재현 단계를 담고 있다. 베타 리포트는 증상을 본 사람에게서 나오며, 같은 근본 원인이 다섯 가지 다른 불만으로 도착할 수 있다. 그래서 베타 피드백은 개발자에게 닿기 전에 분류가 필요하다. 버그와 요청을 나누고, 중복을 합치고, 테스터가 자신이 한 일을 아직 기억할 때 추가 질문을 하는 것이다.

비공개 베타와 공개 베타 중 무엇을 해야 하는가

비공개로 시작하고, 직접 모집할 수 없는 규모나 다양성이 필요할 때만 공개로 전환하라. 비공개 그룹은 지원하기 쉽고 미완성 기능이 유출될 가능성도 낮다.

앱 스토어는 이 순서를 도구에 그대로 반영해 두었다. Google Play는 세 가지 테스트 트랙을 제공한다. 최대 100명의 테스터를 위한 내부 테스트, 더 넓은 초대 그룹을 위한 비공개 테스트, 누구나 참여할 수 있는 공개 테스트다. 2023년 11월 13일 이후에 만들어진 새 개인 개발자 계정은 프로덕션 액세스를 신청하기 전에 최소 12명의 테스터가 최소 14일 동안 계속 참여하는 비공개 테스트를 거쳐야 한다. Apple의 TestFlight는 개발 팀에서 최대 100명의 내부 테스터와 최대 10,000명의 외부 테스터를 허용하며, 외부 테스터에게 보내는 첫 빌드는 App Review의 승인을 받아야 한다. 세 수치 모두 2026년 10월 16일에 확인했다.

알파와 베타 빌드의 버전은 어떻게 매기는가

모든 빌드에 어느 단계에 속하는지 알려 주고 릴리스 순서대로 정렬되는 버전을 붙여라. 사전 릴리스 접미사가 이 두 가지를 모두 해 준다.

유의적 버전(Semantic Versioning)은 목표로 하는 버전 뒤에 하이픈과 점으로 구분한 식별자를 붙여 사전 릴리스를 표시한다. 명세 자체의 우선순위 예시는 1.0.0-alpha < 1.0.0-alpha.1 < 1.0.0-alpha.beta < 1.0.0-beta < 1.0.0-beta.2 < 1.0.0-beta.11 < 1.0.0-rc.1 < 1.0.0이며, 따라서 별도 처리 없이도 단계가 올바르게 정렬된다. git 태그와 릴리스에서 설명한 대로 빌드마다 git에 태그를 붙이고, 베타가 끝나면 다음 단계는 릴리스 후보다.

베타 피드백은 어떻게 수집하고 분류하는가

테스터에게 리포트할 곳을 분명한 한 곳으로 주고, 가능하면 제품 안에 두며, 무엇을 했고 무엇을 기대했고 무슨 일이 일어났는지 물어라. 그런 다음 모든 리포트를 버그, 기능 요청, 질문으로 나누고 중복을 합친 뒤 테스터에게 답하라.

이메일 스레드와 채팅 채널은 베타 초반에는 친근하게 느껴지지만 일주일이면 검색할 수 없게 된다. 제품 안의 양식이나 위젯은 테스터가 직접 입력하지 않아도 페이지, 버전, 계정을 함께 담아 준다. 기능 요청과 버그 신고의 구별은 접수 단계에서 해 둘 가치가 있다. 두 가지는 담당자가 다르기 때문이다. 중복 기능 요청은 건수를 보존한 채 합쳐야 하는데, 테스터 열 명이 같은 것을 요청한다는 사실 자체가 하나의 발견이기 때문이다. Changeloop에서는 피드백 위젯으로 보낸 리포트가 bug 또는 feature-request 라벨, 우선순위 라벨, from-widget이 붙은 GitHub 이슈가 되므로, 베타 피드백이 그것이 설명하는 작업과 같은 트래커에 쌓인다.

베타 테스트는 언제 끝나는가

남은 문제가 파악되어 있고, 그중 출시를 막는 것이 없으며, 새 리포트가 뜸해졌을 때 베타가 끝난다. 종료 기준은 베타를 시작하기 전에 적어 두어라. 그렇지 않으면 누군가 고객에게 약속한 날짜에 맞춰 끝나기 쉽다.

쓸 만한 종료 기준의 예는 다음과 같다.

  • 차단 등급으로 분류된 미해결 버그가 없다.
  • 크래시율과 오류율이 해당 릴리스에 정한 수준 이하이다.
  • 하루당 새 리포트가 줄었고, 대부분이 이미 알려진 문제의 반복이다.
  • 가장 많이 요청된 변경이 완료되었거나, 테스터에게 알린 채 명시적으로 미뤄졌다.
  • 지원 문서와 릴리스 노트가 테스터가 실제로 어려워한 부분을 바탕으로 초안이 작성되었다.

이 조건이 갖춰지면 기능을 동결하고 첫 릴리스 후보를 만든다. 그 시점부터 발견되는 버그는 출시를 막는 경우에만 수정한다.

베타 테스터와는 어떻게 소통을 마무리하는가

테스터가 리포트한 것이 어떻게 되었는지, 그들이 리포트에 쓴 것과 같은 채널로 알려 주어라. 자신의 피드백이 수정으로 이어지는 것을 본 사람은 계속 테스트하고, 아무 소식도 듣지 못한 사람은 그만둔다.

새 베타 빌드를 낼 때마다 테스터 리포트에서 나온 수정을 나열한 짧은 글을 보내고, 어떤 요청이 이번 릴리스에 들어가지 않는지도 분명히 밝혀라. 최종 버전이 나가면 릴리스 노트는 테스터가 이끈 변경에 공을 돌려야 하며, 릴리스 노트 템플릿이 그 구조를 제공한다. Changeloop은 이를 리포트마다 처리한다. 위젯 이슈에 연결된 체인지로그 항목이 승인되면, 변경이 배포되었다는 댓글이 이슈에 한 번 달리고 공개 체인지로그의 항목으로 가는 링크가 함께 붙는다. 더 넓은 관행은 고객 피드백 루프 닫기에서 다룬다.

FAQ

베타 테스트는 사용자 인수 테스트와 같은가? 겹치는 부분이 있지만 답하는 질문이 다르다. 사용자 인수 테스트는 합의된 요구 사항에 맞는지 소프트웨어를 확인하는 것으로, 보통 승인 전에 고객이나 비즈니스 담당자가 한다. 베타 테스트는 더 넓은 그룹이 실제로 제품을 어떻게 쓰는지 관찰한다.

소규모 팀은 알파 테스트를 건너뛰어도 되는가? 기간을 줄일 수는 있지만 완전히 건너뛰는 것은 위험하다. 외부 사람이 보기 전에 팀이 며칠만이라도 실제 업무에 그 빌드를 써 보면, 그렇지 않았다면 테스터의 첫인상을 망쳤을 크래시와 깨진 흐름이 사라진다.

베타 테스트 다음에는 무엇이 오는가? 릴리스 후보, 그다음 정식 출시다. 후보는 기능이 동결된 빌드로, 테스트에서 차단 문제가 나오지 않으면 그대로 출시되며, 최종 릴리스는 그 빌드에 이름만 바꿔 붙인 것이다.

베타 테스터는 몇 명이 필요한가? 제품이 지원하는 플랫폼, 계정 유형, 주요 업무 흐름을 덮을 만큼이다. 일부 스토어는 최소 기준도 정해 두는데, Google Play가 새 개인 개발자 계정에 요구하는 12명, 14일의 비공개 테스트가 그 예다.


이 글의 기술적 내용은 독립적으로 검토되지 않았습니다. 잘못된 부분이 있으면 알려 주세요. 바로잡겠습니다.

Changeloop 관련 페이지: 개발자 문서, 릴리스 노트 템플릿

changeloop
루프를 닫는 changelog를 만드는 팀입니다. 사용자가 무언가를 요청하면 팀이 전달하고, 요청한 사람은 알게 됩니다.