反馈闭环

Alpha 测试与 beta 测试的区别,以及各自何时进行

阅读约 1 分钟

Alpha 测试是第一轮测试,在公司内部进行,测试的构建还缺少一些部分,并且已知不稳定。Beta 测试紧随其后:功能已经齐全或接近齐全的构建会交给团队以外的真实用户,他们在自己的环境里使用,并反馈哪里出错、哪里让人困惑。Alpha 回答的是软件到底能不能运行。Beta 回答的是它对目标用户是否好用:在他们的机器上,用他们的数据,按他们的习惯。

Alpha 测试Beta 测试
谁来测试开发人员、QA 和其他员工公司以外的客户和志愿者
构建状态仍在添加功能,已知缺陷很多功能已齐全或接近齐全,预计会有缺陷
环境实验室、预发布环境或团队自己的账号真实设备、真实数据、真实工作流
核心问题它是否按设计运行?它对真实用户是否好用?
典型反馈带复现步骤的精确缺陷报告现象描述、困惑和缺失的功能
何时结束构建已完整,稳定到可以给外部人员看没有阻塞问题,反馈也明显减少

什么是 alpha 测试?

Alpha 测试是对早期构建的内部测试。参与测试的人熟悉产品,会看日志,也接受东西会坏,所以目标是在外人看到之前,先找出那些大问题。

维基百科关于软件发布生命周期的文章,把 alpha 阶段描述为软件测试的第一个阶段:开发人员用白盒技术测试,随后由独立的测试团队用黑盒或灰盒技术来验证这个构建。许多团队还会加上第三层,也就是员工在自己的日常工作中使用这个产品。这种做法有专门的名字,叫内部试用(dogfooding),它能发现脚本化测试永远碰不到的使用摩擦。

什么是 beta 测试?

Beta 测试是在正式发布之前,把一个接近完成的构建交到真实用户手里。它能抓到只有走出办公室才会出现的问题:其他设备和浏览器、杂乱的数据、不寻常的工作流,以及从没见过产品内部实现的人。

上面那篇维基百科文章还说,beta 阶段通常始于软件功能齐全、但很可能仍有已知或未知缺陷的时候。封闭 beta 邀请选定的一批人,往往是提出过这个功能的客户或设计合作伙伴。公开 beta 则允许任何人加入。有些产品会一直处于所谓的永久 beta,持续更新,从不宣布完成。

alpha 测试和 beta 测试有什么区别?

两个阶段之间有四点不同:谁来测试、构建完成到什么程度、在哪里运行,以及一份报告之后会发生什么。Alpha 测试人员是内部人员,在受控环境里测试一个不完整的构建;beta 测试人员是外部人员,用一个完整的构建做真实的工作。

最后一点对负责读报告的人影响最大。Alpha 报告通常出自了解代码的人,会指出具体组件并附上步骤。Beta 报告出自只看到了现象的人,同一个根本原因可能以五种不同的抱怨送到你面前。因此 beta 反馈在到达开发人员之前需要先分诊:区分缺陷和请求,合并重复项,并趁测试者还记得自己做了什么的时候,追问细节。

应该做封闭 beta 还是公开 beta?

先从封闭 beta 开始,只有当你需要靠人工招募不到的规模或多样性时,再开放。小范围的封闭群体更容易提供支持,也不太可能泄露尚未完成的功能。

应用商店把这个顺序直接做进了它们的工具里。Google Play 提供三种测试轨道:最多 100 名测试者的内部测试,面向更大范围受邀人群的封闭测试,以及任何人都能加入的公开测试。2023 年 11 月 13 日之后创建的新个人开发者账号,必须先进行封闭测试,至少有 12 名测试者持续参与至少 14 天,才能申请正式发布权限。Apple 的 TestFlight 允许来自开发团队的最多 100 名内部测试者,以及最多 10,000 名外部测试者,而发给外部测试者的第一个构建必须通过 App Review 的审核。这三组数字都已在 2026 年 10 月 16 日核对过。

如何给 alpha 和 beta 构建编版本号?

给每个构建一个版本号,让它既能说明所处阶段,又能按发布顺序排序。预发布后缀正好两者兼顾。

语义化版本控制用连字符加用点分隔的标识符,写在你正在迈向的那个版本号后面,来标记预发布。规范自己的优先级示例是 1.0.0-alpha < 1.0.0-alpha.1 < 1.0.0-alpha.beta < 1.0.0-beta < 1.0.0-beta.2 < 1.0.0-beta.11 < 1.0.0-rc.1 < 1.0.0,所以各阶段无需任何特殊处理就能正确排序。每个构建都要在 git 中打上标签,做法见 git 标签与发布;beta 结束之后,下一个阶段就是发布候选版本。

如何收集并分诊 beta 反馈?

给测试者一个明显的反馈入口,可以的话就放在产品里面,并请他们说明做了什么、期望什么、实际发生了什么。然后把每份报告归入缺陷、功能请求或问题,合并重复项,并回复测试者。

邮件串和聊天频道在 beta 开始时让人觉得亲切,一周之后就搜不动了。产品里的表单或小组件,则无需测试者手动输入就能记下页面、版本和账号。在收集阶段就区分功能请求和缺陷报告是值得的,因为两者会交给不同的负责人;而重复的功能请求需要合并,并保留各自的计数,因为十位测试者都要求同一件事,本身就是一个发现。在 Changeloop 里,通过反馈小组件提交的报告会变成一个 GitHub issue,带上 bug 或 feature-request 标签,外加优先级标签和 from-widget,所以 beta 反馈会和它所描述的工作落在同一个追踪系统里。

beta 测试什么时候算结束?

当剩下的问题都已清楚、没有一个会阻塞发布,并且新报告已减少到寥寥几份时,beta 就结束了。要在 beta 开始之前就写下退出标准,否则它往往会在某个有人向客户承诺过的日期结束。

一套可行的退出标准:

  • 没有任何未解决的缺陷被评为阻塞。
  • 崩溃率和错误率不高于你为这次发布设定的水平。
  • 每天的新报告在减少,而且大多是已知问题的重复。
  • 呼声最高的改动要么已完成,要么明确推迟,并且已告知测试者是哪一种。
  • 支持文档和发布说明,已根据测试者真正遇到的困难起草好。

当这些都满足时,就冻结功能,切出第一个发布候选版本。从那以后发现的缺陷,只有阻塞发布才会修复。

如何向 beta 测试者交代处理结果?

用他们反馈时所用的同一个渠道,告诉测试者他们报告的东西后来怎么样了。看到自己的反馈变成修复的人会继续测试,听不到任何消息的人就会停下。

每发一个新的 beta 构建,就附上一条简短的说明,列出来自测试者报告的修复,并坦率说明哪些请求赶不上这次发布。最终版本发布时,发布说明应当把测试者推动的改动记上功劳;发布说明模板提供了这方面的结构。Changeloop 是按每份报告来做的:当一条关联着小组件 issue 的体验日志记录获得批准时,这个 issue 会收到一条评论,说明改动已发布,并附上指向公开体验日志中该记录的链接。更广泛的做法见闭环客户反馈。

FAQ

beta 测试和用户验收测试是一回事吗? 两者有重叠,但回答的是不同的问题。用户验收测试是对照约定的需求检查软件,通常由客户或业务负责人在签字验收前进行,而 beta 测试则是观察更大范围的人群在实际中如何使用这个产品。

小团队可以跳过 alpha 测试吗? 可以缩短,但完全跳过有风险。哪怕只是团队在外人看到之前,用这个构建做几天真实的工作,也能清除那些否则会毁掉测试者第一印象的崩溃和损坏的流程。

beta 测试之后是什么? 发布候选版本,然后是正式发布(GA)。候选版本是功能已冻结的构建,除非测试发现阻塞问题,否则会原封不动地发布,而最终版本就是同一个构建换了名称。

需要多少名 beta 测试者? 足够覆盖产品所支持的平台、账号类型和主要工作流即可。有些应用商店还设了下限,比如 Google Play 对新个人开发者账号要求的 12 名测试者、14 天封闭测试。


本文的技术内容未经独立审核。如有错误,请告诉我们,我们会更正。

Changeloop 相关页面: 开发者文档, 发布说明模板

changeloop
打造闭环 changelog 的团队。用户提出需求,你的团队交付,提出需求的人得知结果。