アルファテストとベータテストの違いと、それぞれをいつ行うか
1分で読めます
アルファテストは最初のテストで、社内で行い、まだ足りない部分があり不安定だと分かっているビルドを対象にする。ベータテストはその次で、機能が出そろった、またはほぼそろったビルドをチーム外の実際のユーザーに渡し、自分の環境で使ってもらって、壊れた点や分かりにくかった点を報告してもらう。アルファが確かめるのは、そもそもソフトウェアが動くかどうかだ。ベータが確かめるのは、想定したユーザーにとって、彼らのマシンとデータと習慣のもとで動くかどうかだ。
| アルファテスト | ベータテスト | |
|---|---|---|
| 誰がテストするか | 開発者、QA、そのほかの社員 | 社外の顧客とボランティア |
| ビルドの状態 | 機能を追加中で、既知のバグが多い | 機能が完成またはほぼ完成で、バグは想定内 |
| 環境 | 検証環境、ステージング、チーム自身のアカウント | 実際のデバイス、実際のデータ、実際の業務 |
| 主な問い | 設計どおりに動くか? | 実際のユーザーにとって動くか? |
| 典型的なフィードバック | 手順つきの正確なバグ報告 | 症状、戸惑い、足りない機能 |
| 何をもって終わるか | 社外に見せられるだけ完成し、安定した | ブロッカーがなくなり、フィードバックが減った |
アルファテストとは何か
アルファテストは、初期のビルドを対象にした社内テストだ。テストする人は製品を知っていてログも読めるうえ、壊れることを受け入れているので、社外の誰かに見られる前に大きな問題を見つけることが目的になる。
Wikipediaのソフトウェアのリリースライフサイクルの記事は、アルファ段階をソフトウェアテストの最初の段階と説明している。開発者がホワイトボックスの手法でテストし、そのあと別のテストチームがブラックボックスまたはグレーボックスの手法でビルドを検証する。多くのチームはさらに、社員が自分の仕事でその製品を使うという層を加える。この取り組みにはドッグフーディングという名前があり、台本どおりのテストでは触れられない引っかかりを見つけてくれる。
ベータテストとは何か
ベータテストは、ほぼ完成したビルドを一般リリースの前に実際のユーザーに見せる。社屋の外でしか表に出ない問題、つまり別のデバイスやブラウザ、乱雑なデータ、想定外の使い方、製品の内部を見たことのない人の戸惑いを拾える。
同じWikipediaの記事によると、ベータ段階は一般に、ソフトウェアの機能がそろい、既知または未知のバグが残っていそうな時点で始まる。クローズドベータは選んだグループを招待するもので、その機能を求めた顧客やデザインパートナーであることが多い。オープンベータは誰でも参加できる。製品によっては、更新を続けて完成を宣言しない、いわゆる永続ベータのままになるものもある。
アルファテストとベータテストの違いは何か
二つの段階では、誰がテストするか、ビルドがどこまで完成しているか、どこで動かすか、報告がどう扱われるかの四つが変わる。アルファのテスターは管理された環境で未完成のビルドを扱う内部の人間で、ベータのテスターは完成したビルドを実際の仕事に使う外部の人間だ。
最後の違いは、報告を読む側にとって最も重要だ。アルファの報告は、コードを知っている人から来て、コンポーネントの名前を挙げ、手順も添えてある。ベータの報告は症状を見た人から来るので、同じ根本原因が五つの違う不満として届くことがある。そのためベータのフィードバックは、開発者に届く前に仕分けが必要になる。バグと要望を分け、重複をまとめ、テスターが自分の操作を覚えているうちに追加の質問をする。
クローズドベータとオープンベータのどちらにするか
まずクローズドで始め、手作業では集められない規模や多様性が必要になったときにだけオープンにする。クローズドなグループのほうがサポートしやすく、未完成の機能が外に漏れる可能性も低い。
アプリストアは、この順序をツールに組み込んでいる。Google Playには三つのテストトラックがあり、最大100人のテスター向けの内部テスト、招待した広いグループ向けのクローズドテスト、誰でも参加できるオープンテストに分かれる。2023年11月13日以降に作成された新しい個人の開発者アカウントは、本番公開を申請する前に、12人以上のテスターが14日以上継続してオプトインしたクローズドテストを実施する必要がある。AppleのTestFlightでは、開発チームの内部テスターを最大100人、外部テスターを最大10,000人まで招待でき、外部テスターに最初に配布するビルドはApp Reviewの承認を受けなければならない。この三つの数字は、いずれも2026年10月16日に確認した。
アルファとベータのビルドにはどうバージョンを付けるか
どの段階のビルドかが分かり、リリース順に並ぶバージョンを、すべてのビルドに付ける。プレリリースの接尾辞は、その両方を満たす。
セマンティックバージョニングでは、目指しているバージョンのあとにハイフンとドット区切りの識別子を置いて、プレリリースを表す。仕様自身の優先順位の例は 1.0.0-alpha < 1.0.0-alpha.1 < 1.0.0-alpha.beta < 1.0.0-beta < 1.0.0-beta.2 < 1.0.0-beta.11 < 1.0.0-rc.1 < 1.0.0 となっていて、特別な処理をしなくても段階が正しく並ぶ。各ビルドにはgitタグとリリースで説明している方法でタグを付ける。ベータが終わったら、次の段階はリリース候補だ。
ベータのフィードバックはどう集めて仕分けるか
テスターには報告先を一つだけ分かりやすく用意し、できれば製品の中に置く。そして、何をしたか、何を期待したか、何が起きたかを書いてもらう。そのうえで、すべての報告をバグ、機能リクエスト、質問のどれかに分け、重複をまとめて、テスターに返信する。
メールのやり取りやチャットのチャンネルは、ベータの序盤は親しみやすいが、一週間もすると検索できなくなる。製品内のフォームやウィジェットなら、ページ、バージョン、アカウントをテスターが入力しなくても記録できる。機能リクエストとバグ報告の区別は、受け付けの時点でつけておく価値がある。両者は担当者が違うからだ。また、重複した機能リクエストは件数を残したまままとめる必要がある。十人のテスターが同じことを求めていれば、それ自体が一つの発見だからだ。Changeloopでは、フィードバックウィジェットから送られた報告が、bug か feature-request のラベル、優先度のラベル、from-widget を付けたGitHub issueになるので、ベータのフィードバックは、それが関わる作業と同じトラッカーに集まる。
ベータテストはいつ終わるのか
残っている問題が分かっていて、どれもリリースを止めず、新しい報告が細ってきたときに終わる。終了条件はベータが始まる前に書いておく。そうしないと、誰かが顧客に約束した日付で終わってしまいがちだ。
実用的な終了条件の例は次のとおりだ。
- 未解決のバグに、ブロッカーと評価されたものがない。
- クラッシュ率とエラー率が、そのリリースのために決めた水準以下にある。
- 一日あたりの新しい報告が減り、その大半が既知の問題の繰り返しになっている。
- 最も多く求められた変更が、完了したか、明示的に先送りされていて、テスターにどちらかを伝えてある。
- サポート用のドキュメントとリリースノートが、テスターが実際に苦労した点をもとに下書きされている。
これらが満たされたら、機能を凍結して最初のリリース候補を切る。それ以降に見つかったバグは、出荷を妨げるものだけを直す。
ベータテスターにはどうフィードバックを返すか
報告されたことがどうなったかを、報告に使ったのと同じチャンネルでテスターに伝える。自分のフィードバックが修正につながるのを見た人はテストを続け、何の連絡もない人はやめてしまう。
新しいベータのビルドごとに、テスターの報告から生まれた修正を挙げた短いお知らせを送り、リリースに入らない要望ははっきり伝える。最終版を出すときは、リリースノートでテスターが動かした変更に触れるとよい。その構成はリリースノートのテンプレートが参考になる。Changeloopはこれを報告ごとに行う。ウィジェットのissueにひも付いたチェンジログ項目が承認されると、そのissueに、変更が出荷されたことと公開チェンジログの項目へのリンクを書いたコメントが一件付く。より広い取り組みは顧客フィードバックのループを閉じるで扱っている。
FAQ
ベータテストはユーザー受け入れテストと同じか? 重なる部分はあるが、答える問いが違う。ユーザー受け入れテストは、合意した要件に照らしてソフトウェアを確認するもので、たいていは顧客や事業責任者が承認の前に行う。ベータテストは、より広いグループが実際にその製品をどう使うかを観察する。
小さなチームはアルファテストを省いてよいか? 短くはできるが、完全に省くのは危険だ。社外の誰かに見せる前に、チームが数日だけでも実際の仕事でそのビルドを使えば、テスターの第一印象を台無しにしかねないクラッシュや壊れた操作の流れを取り除ける。
ベータテストの次は何か? リリース候補、そして一般提供だ。候補は機能を凍結したビルドで、テストでブロッカーが見つからない限り変更なしで出荷され、最終リリースはそのビルドの名前を付け替えたものになる。
ベータテスターは何人必要か? 製品が対応するプラットフォーム、アカウントの種類、主な業務の流れを一通りカバーできる人数だ。ストアによっては下限もあり、たとえばGoogle Playが新しい個人の開発者アカウントに求める、12人のテスターによる14日間のクローズドテストがそれにあたる。
この記事の技術的な記述は第三者による確認を受けていません。誤りがあればお知らせください。修正します。