Обратная связь

Альфа- и бета-тестирование: отличия и когда что запускать

6 мин чтения

Альфа-тестирование: первый круг проверки, который проходит внутри компании на сборке, где ещё не хватает частей и которая заведомо нестабильна. Бета-тестирование идёт следом: сборка, в которой все функции готовы или почти готовы, попадает к настоящим пользователям вне команды. Они работают с ней в своих окружениях и сообщают, что ломается или сбивает с толку. Альфа отвечает на вопрос, работает ли программа вообще. Бета отвечает на вопрос, работает ли она для тех, для кого её сделали: на их компьютерах, с их данными и привычками.

Альфа-тестированиеБета-тестирование
Кто тестируетРазработчики, QA, другие сотрудникиКлиенты и добровольцы вне компании
Состояние сборкиФункции ещё добавляются, много известных ошибокФункции готовы или почти готовы, ошибки ожидаемы
ОкружениеЛаборатория, staging или собственные аккаунты командыРеальные устройства, данные и рабочие сценарии
Главный вопросРаботает ли это так, как задумано?Работает ли это для реальных пользователей?
Типичная обратная связьТочные отчёты об ошибках с шагамиСимптомы, недоумение, недостающие функции
Чем заканчиваетсяСборка полная и достаточно стабильная, чтобы показать постороннимБлокеров не осталось, а поток отзывов почти иссяк

Что такое альфа-тестирование?

Альфа-тестирование представляет собой внутреннюю проверку ранней сборки. Люди, которые её проводят, знают продукт, умеют читать логи и готовы к тому, что всё будет ломаться, поэтому цель проста: найти крупные проблемы раньше, чем их увидит кто-то снаружи.

Статья Википедии о жизненном цикле выпуска ПО описывает альфу как первую фазу тестирования: разработчики проверяют сборку методами белого ящика, а затем отдельная команда тестировщиков проверяет её методами чёрного или серого ящика. Многие команды добавляют третий слой: сотрудники используют продукт в собственной работе. У этой практики есть название, dogfooding, и она находит трения, которых не касается ни один сценарный тест.

Что такое бета-тестирование?

Бета-тестирование показывает почти готовую сборку настоящим пользователям до общего релиза. Оно ловит проблемы, которые проявляются только за стенами офиса: другие устройства и браузеры, неаккуратные данные, необычные сценарии и люди, никогда не видевшие внутренности продукта.

В той же статье Википедии сказано, что бета обычно начинается, когда все функции готовы, но в программе, скорее всего, остаются известные или неизвестные ошибки. Закрытая бета приглашает выбранную группу, часто клиентов, которые просили эту функцию, или партнёров по дизайну. В открытую бету может вступить любой. Некоторые продукты остаются в так называемой вечной бете: их постоянно обновляют и никогда не объявляют законченными.

Чем альфа-тестирование отличается от бета-тестирования?

Между двумя фазами меняются четыре вещи: кто тестирует, насколько готова сборка, где она запускается и что происходит с отчётом. В альфа-тестировании участвуют свои люди, которые работают с неполной сборкой в контролируемой среде, а в бета-тестировании посторонние, которые используют полную сборку для реальной работы.

Последнее отличие важнее всего для тех, кто читает отчёты. Альфа-отчёт обычно пишет человек, знающий код: он называет компонент и приводит шаги. Бета-отчёт пишет тот, кто увидел симптом, и одна и та же первопричина может прийти в виде пяти разных жалоб. Поэтому бета-фидбэк нужно разбирать, прежде чем он дойдёт до разработчиков: отделять ошибки от запросов, объединять дубликаты и задавать уточняющие вопросы, пока тестировщик ещё помнит, что делал.

Что выбрать: закрытую или открытую бету?

Начинайте с закрытой и открывайте бету только тогда, когда вам нужен масштаб или разнообразие, которых не набрать вручную. Закрытую группу проще поддерживать, и из неё реже утекает недоделанная функция.

Магазины приложений встроили эту последовательность в свои инструменты. У Google Play есть три канала тестирования: внутреннее тестирование максимум для 100 тестировщиков, закрытое тестирование для более широкой приглашённой группы и открытое, к которому может присоединиться любой. Новые личные аккаунты разработчика, созданные после 13 ноября 2023 года, должны провести закрытый тест минимум с 12 тестировщиками, непрерывно участвующими не менее 14 дней, и только потом могут подать заявку на доступ к продакшену. TestFlight от Apple допускает до 100 внутренних тестировщиков из команды разработки и до 10 000 внешних, а первую сборку для внешних тестировщиков должен одобрить App Review. Все три цифры проверены 16 октября 2026 года.

Как версионировать альфа- и бета-сборки?

Дайте каждой сборке версию, которая говорит о стадии и сортируется в порядке выпуска. Предрелизные суффиксы делают и то и другое.

Семантическое версионирование отмечает предрелиз дефисом и идентификаторами через точку после версии, к которой вы идёте. В примере приоритета из самой спецификации порядок такой: 1.0.0-alpha < 1.0.0-alpha.1 < 1.0.0-alpha.beta < 1.0.0-beta < 1.0.0-beta.2 < 1.0.0-beta.11 < 1.0.0-rc.1 < 1.0.0, так что стадии сортируются правильно без всякой особой обработки. Помечайте каждую сборку тегом в git, как описано в статье git-теги и релизы, а когда бета закончится, следующей стадией станет релиз-кандидат.

Как собирать и разбирать фидбэк бета-тестировщиков?

Дайте тестировщикам одно понятное место для отчётов, по возможности внутри продукта, и просите написать, что они делали, чего ожидали и что произошло. Затем отнесите каждый отчёт к одной из категорий (ошибка, запрос на функцию или вопрос), объедините дубликаты и ответьте тестировщику.

Почтовые цепочки и чаты кажутся удобными в начале беты, а через неделю в них уже ничего не найти. Форма или виджет в продукте фиксируют страницу, версию и аккаунт, и тестировщику не приходится вводить их вручную. Различие между запросом на функцию и отчётом об ошибке стоит проводить уже на входе, потому что у них разные владельцы, а дублирующиеся запросы на функции нужно объединять, сохраняя счётчики: если десять тестировщиков просят об одном и том же, это уже само по себе вывод. В Changeloop отчёт, отправленный через виджет обратной связи, становится GitHub issue с меткой bug или feature-request, а также с меткой приоритета и from-widget, так что бета-фидбэк попадает в тот же трекер, где лежит работа, к которой он относится.

Когда бета-тест считается завершённым?

Бета завершена, когда оставшиеся проблемы известны, ни одна из них не блокирует релиз, а новые отчёты почти перестали приходить. Запишите критерии выхода до начала беты, иначе она, как правило, заканчивается в день, обещанный кому-то из клиентов.

Рабочий набор критериев выхода:

  • Ни одна открытая ошибка не имеет статуса блокера.
  • Доля падений и ошибок не выше уровня, который вы задали для релиза.
  • Число новых отчётов в день снизилось, и большинство из них повторяет известные проблемы.
  • Самые востребованные изменения либо сделаны, либо явно отложены, и тестировщикам сказано, какие именно.
  • Документация для поддержки и release notes подготовлены по тому, с чем тестировщики реально столкнулись.

Когда всё это выполнено, заморозьте функции и соберите первый релиз-кандидат. Ошибки, найденные после этого, исправляются, только если мешают выпуску.

Как замкнуть цикл с бета-тестировщиками?

Расскажите тестировщикам, что стало с их отчётами, в том же канале, в котором они их присылали. Люди, видящие, что их отзывы превращаются в исправления, продолжают тестировать, а те, кто не слышит ответа, перестают.

С каждой новой бета-сборкой отправляйте короткую заметку со списком исправлений, появившихся по отчётам тестировщиков, и прямо говорите, какие запросы в релиз не попадут. Когда выйдет финальная версия, в release notes стоит отметить изменения, которые подтолкнули тестировщики; структуру для этого даёт шаблон release notes. Changeloop делает это по каждому отчёту: когда запись changelog, связанная с issue из виджета, утверждена, issue получает один комментарий о том, что изменение вышло, со ссылкой на запись в публичном changelog. Более широкая практика описана в статье как замкнуть петлю обратной связи с клиентами.

FAQ

Совпадает ли бета-тестирование с приёмочным тестированием? Они пересекаются, но отвечают на разные вопросы. Приёмочное тестирование сверяет программу с согласованными требованиями, обычно силами заказчика или владельца бизнеса перед подписанием, а бета-тестирование наблюдает, как более широкая группа пользуется продуктом на практике.

Может ли небольшая команда пропустить альфа-тестирование? Сократить можно, а пропустить совсем рискованно. Даже несколько дней, в течение которых команда работает на сборке по-настоящему, пока её не видел никто снаружи, убирают падения и сломанные сценарии, которые иначе испортили бы тестировщикам первое впечатление.

Что идёт после бета-тестирования? Релиз-кандидат, затем общая доступность. Кандидатом называют сборку с замороженными функциями, которая выходит без изменений, если тестирование не нашло блокер, а финальный релиз представляет собой ту же сборку под другой меткой.

Сколько бета-тестировщиков нужно? Столько, чтобы покрыть платформы, типы аккаунтов и основные сценарии, которые поддерживает продукт. Некоторые магазины ещё и задают минимум, например закрытый тест на 12 тестировщиков и 14 дней, который Google Play требует от новых личных аккаунтов разработчика.


Технические утверждения в этой статье не проходили независимую проверку. Если здесь что-то не так, сообщите нам, и мы исправим.

По теме на Changeloop: Документация для разработчиков, Шаблон релиз-нот

changeloop
Команда, которая делает changelog, замыкающий цикл. Пользователи о чём-то просят, ваша команда это делает, тот, кто просил, узнаёт об этом.