Альфа- и бета-тестирование: отличия и когда что запускать
6 мин чтения
Альфа-тестирование: первый круг проверки, который проходит внутри компании на сборке, где ещё не хватает частей и которая заведомо нестабильна. Бета-тестирование идёт следом: сборка, в которой все функции готовы или почти готовы, попадает к настоящим пользователям вне команды. Они работают с ней в своих окружениях и сообщают, что ломается или сбивает с толку. Альфа отвечает на вопрос, работает ли программа вообще. Бета отвечает на вопрос, работает ли она для тех, для кого её сделали: на их компьютерах, с их данными и привычками.
| Альфа-тестирование | Бета-тестирование | |
|---|---|---|
| Кто тестирует | Разработчики, QA, другие сотрудники | Клиенты и добровольцы вне компании |
| Состояние сборки | Функции ещё добавляются, много известных ошибок | Функции готовы или почти готовы, ошибки ожидаемы |
| Окружение | Лаборатория, staging или собственные аккаунты команды | Реальные устройства, данные и рабочие сценарии |
| Главный вопрос | Работает ли это так, как задумано? | Работает ли это для реальных пользователей? |
| Типичная обратная связь | Точные отчёты об ошибках с шагами | Симптомы, недоумение, недостающие функции |
| Чем заканчивается | Сборка полная и достаточно стабильная, чтобы показать посторонним | Блокеров не осталось, а поток отзывов почти иссяк |
Что такое альфа-тестирование?
Альфа-тестирование представляет собой внутреннюю проверку ранней сборки. Люди, которые её проводят, знают продукт, умеют читать логи и готовы к тому, что всё будет ломаться, поэтому цель проста: найти крупные проблемы раньше, чем их увидит кто-то снаружи.
Статья Википедии о жизненном цикле выпуска ПО описывает альфу как первую фазу тестирования: разработчики проверяют сборку методами белого ящика, а затем отдельная команда тестировщиков проверяет её методами чёрного или серого ящика. Многие команды добавляют третий слой: сотрудники используют продукт в собственной работе. У этой практики есть название, dogfooding, и она находит трения, которых не касается ни один сценарный тест.
Что такое бета-тестирование?
Бета-тестирование показывает почти готовую сборку настоящим пользователям до общего релиза. Оно ловит проблемы, которые проявляются только за стенами офиса: другие устройства и браузеры, неаккуратные данные, необычные сценарии и люди, никогда не видевшие внутренности продукта.
В той же статье Википедии сказано, что бета обычно начинается, когда все функции готовы, но в программе, скорее всего, остаются известные или неизвестные ошибки. Закрытая бета приглашает выбранную группу, часто клиентов, которые просили эту функцию, или партнёров по дизайну. В открытую бету может вступить любой. Некоторые продукты остаются в так называемой вечной бете: их постоянно обновляют и никогда не объявляют законченными.
Чем альфа-тестирование отличается от бета-тестирования?
Между двумя фазами меняются четыре вещи: кто тестирует, насколько готова сборка, где она запускается и что происходит с отчётом. В альфа-тестировании участвуют свои люди, которые работают с неполной сборкой в контролируемой среде, а в бета-тестировании посторонние, которые используют полную сборку для реальной работы.
Последнее отличие важнее всего для тех, кто читает отчёты. Альфа-отчёт обычно пишет человек, знающий код: он называет компонент и приводит шаги. Бета-отчёт пишет тот, кто увидел симптом, и одна и та же первопричина может прийти в виде пяти разных жалоб. Поэтому бета-фидбэк нужно разбирать, прежде чем он дойдёт до разработчиков: отделять ошибки от запросов, объединять дубликаты и задавать уточняющие вопросы, пока тестировщик ещё помнит, что делал.
Что выбрать: закрытую или открытую бету?
Начинайте с закрытой и открывайте бету только тогда, когда вам нужен масштаб или разнообразие, которых не набрать вручную. Закрытую группу проще поддерживать, и из неё реже утекает недоделанная функция.
Магазины приложений встроили эту последовательность в свои инструменты. У Google Play есть три канала тестирования: внутреннее тестирование максимум для 100 тестировщиков, закрытое тестирование для более широкой приглашённой группы и открытое, к которому может присоединиться любой. Новые личные аккаунты разработчика, созданные после 13 ноября 2023 года, должны провести закрытый тест минимум с 12 тестировщиками, непрерывно участвующими не менее 14 дней, и только потом могут подать заявку на доступ к продакшену. TestFlight от Apple допускает до 100 внутренних тестировщиков из команды разработки и до 10 000 внешних, а первую сборку для внешних тестировщиков должен одобрить App Review. Все три цифры проверены 16 октября 2026 года.
Как версионировать альфа- и бета-сборки?
Дайте каждой сборке версию, которая говорит о стадии и сортируется в порядке выпуска. Предрелизные суффиксы делают и то и другое.
Семантическое версионирование отмечает предрелиз дефисом и идентификаторами через точку после версии, к которой вы идёте. В примере приоритета из самой спецификации порядок такой: 1.0.0-alpha < 1.0.0-alpha.1 < 1.0.0-alpha.beta < 1.0.0-beta < 1.0.0-beta.2 < 1.0.0-beta.11 < 1.0.0-rc.1 < 1.0.0, так что стадии сортируются правильно без всякой особой обработки. Помечайте каждую сборку тегом в git, как описано в статье git-теги и релизы, а когда бета закончится, следующей стадией станет релиз-кандидат.
Как собирать и разбирать фидбэк бета-тестировщиков?
Дайте тестировщикам одно понятное место для отчётов, по возможности внутри продукта, и просите написать, что они делали, чего ожидали и что произошло. Затем отнесите каждый отчёт к одной из категорий (ошибка, запрос на функцию или вопрос), объедините дубликаты и ответьте тестировщику.
Почтовые цепочки и чаты кажутся удобными в начале беты, а через неделю в них уже ничего не найти. Форма или виджет в продукте фиксируют страницу, версию и аккаунт, и тестировщику не приходится вводить их вручную. Различие между запросом на функцию и отчётом об ошибке стоит проводить уже на входе, потому что у них разные владельцы, а дублирующиеся запросы на функции нужно объединять, сохраняя счётчики: если десять тестировщиков просят об одном и том же, это уже само по себе вывод. В Changeloop отчёт, отправленный через виджет обратной связи, становится GitHub issue с меткой bug или feature-request, а также с меткой приоритета и from-widget, так что бета-фидбэк попадает в тот же трекер, где лежит работа, к которой он относится.
Когда бета-тест считается завершённым?
Бета завершена, когда оставшиеся проблемы известны, ни одна из них не блокирует релиз, а новые отчёты почти перестали приходить. Запишите критерии выхода до начала беты, иначе она, как правило, заканчивается в день, обещанный кому-то из клиентов.
Рабочий набор критериев выхода:
- Ни одна открытая ошибка не имеет статуса блокера.
- Доля падений и ошибок не выше уровня, который вы задали для релиза.
- Число новых отчётов в день снизилось, и большинство из них повторяет известные проблемы.
- Самые востребованные изменения либо сделаны, либо явно отложены, и тестировщикам сказано, какие именно.
- Документация для поддержки и release notes подготовлены по тому, с чем тестировщики реально столкнулись.
Когда всё это выполнено, заморозьте функции и соберите первый релиз-кандидат. Ошибки, найденные после этого, исправляются, только если мешают выпуску.
Как замкнуть цикл с бета-тестировщиками?
Расскажите тестировщикам, что стало с их отчётами, в том же канале, в котором они их присылали. Люди, видящие, что их отзывы превращаются в исправления, продолжают тестировать, а те, кто не слышит ответа, перестают.
С каждой новой бета-сборкой отправляйте короткую заметку со списком исправлений, появившихся по отчётам тестировщиков, и прямо говорите, какие запросы в релиз не попадут. Когда выйдет финальная версия, в release notes стоит отметить изменения, которые подтолкнули тестировщики; структуру для этого даёт шаблон release notes. Changeloop делает это по каждому отчёту: когда запись changelog, связанная с issue из виджета, утверждена, issue получает один комментарий о том, что изменение вышло, со ссылкой на запись в публичном changelog. Более широкая практика описана в статье как замкнуть петлю обратной связи с клиентами.
FAQ
Совпадает ли бета-тестирование с приёмочным тестированием? Они пересекаются, но отвечают на разные вопросы. Приёмочное тестирование сверяет программу с согласованными требованиями, обычно силами заказчика или владельца бизнеса перед подписанием, а бета-тестирование наблюдает, как более широкая группа пользуется продуктом на практике.
Может ли небольшая команда пропустить альфа-тестирование? Сократить можно, а пропустить совсем рискованно. Даже несколько дней, в течение которых команда работает на сборке по-настоящему, пока её не видел никто снаружи, убирают падения и сломанные сценарии, которые иначе испортили бы тестировщикам первое впечатление.
Что идёт после бета-тестирования? Релиз-кандидат, затем общая доступность. Кандидатом называют сборку с замороженными функциями, которая выходит без изменений, если тестирование не нашло блокер, а финальный релиз представляет собой ту же сборку под другой меткой.
Сколько бета-тестировщиков нужно? Столько, чтобы покрыть платформы, типы аккаунтов и основные сценарии, которые поддерживает продукт. Некоторые магазины ещё и задают минимум, например закрытый тест на 12 тестировщиков и 14 дней, который Google Play требует от новых личных аккаунтов разработчика.
Технические утверждения в этой статье не проходили независимую проверку. Если здесь что-то не так, сообщите нам, и мы исправим.