Geri bildirim döngüsü

Alfa ve beta testi: farkları ve ne zaman yapılır

6 dk okuma

Alfa testi, şirketin içinde, hâlâ eksikleri olan ve kararsız olduğu bilinen bir build üzerinde yapılan ilk test turudur. Beta testi bunun ardından gelir: özellik açısından tamamlanmış ya da neredeyse tamamlanmış bir build ekibin dışındaki gerçek kullanıcılara verilir; onlar da yazılımı kendi ortamlarında kullanıp neyin bozulduğunu ya da kafa karıştırdığını bildirir. Alfa, yazılımın çalışıp çalışmadığını yanıtlar. Beta ise yazılımın, kendisi için üretildiği insanlar için, onların makinelerinde, verileriyle ve alışkanlıklarıyla çalışıp çalışmadığını yanıtlar.

Alfa testiBeta testi
Kim test ederGeliştiriciler, QA, diğer çalışanlarŞirket dışındaki müşteriler ve gönüllüler
Build durumuÖzellikler hâlâ ekleniyor, çok sayıda bilinen hata varÖzellikler tamam ya da neredeyse tamam, hata beklenir
OrtamLaboratuvar, staging ya da ekibin kendi hesaplarıGerçek cihazlar, gerçek veriler, gerçek iş akışları
Ana soruTasarlandığı gibi çalışıyor mu?Gerçek kullanıcılar için çalışıyor mu?
Tipik geri bildirimAdımlarıyla birlikte net hata raporlarıBelirtiler, kafa karışıklığı, eksik özellikler
Ne bitirirBuild, dışarıdakilere gösterilecek kadar tamamlanmış ve kararlıdırEngelleyici kalmamıştır ve geri bildirim yavaşlamıştır

Alfa testi nedir?

Alfa testi, erken bir build’in iç ekip tarafından test edilmesidir. Test edenler ürünü tanır, logları okuyabilir ve bir şeylerin bozulacağını kabul eder; amaç, dışarıdan biri görmeden önce büyük sorunları bulmaktır.

Vikipedi’deki yazılım sürüm yaşam döngüsü makalesi alfa aşamasını yazılım testinin ilk aşaması olarak anlatır: geliştiriciler white-box teknikleriyle test eder, ardından ayrı bir test ekibi build’i black-box ya da gray-box teknikleriyle doğrular. Birçok ekip buna üçüncü bir katman ekler: çalışanların ürünü kendi işlerinde kullanması. Bu uygulamanın kendi adı var, dogfooding, ve yazılı bir testin hiç dokunmadığı sürtünmeleri ortaya çıkarır.

Beta testi nedir?

Beta testi, neredeyse bitmiş bir build’i genel yayından önce gerçek kullanıcıların önüne koyar. Yalnızca binanın dışında ortaya çıkan sorunları yakalar: başka cihazlar ve tarayıcılar, dağınık veriler, alışılmadık iş akışları ve ürünün iç yapısını hiç görmemiş insanlar.

Aynı Vikipedi makalesine göre beta aşaması genellikle yazılım özellik açısından tamamlandığında, ama bilinen ya da bilinmeyen hatalar içermesi muhtemel olduğunda başlar. Kapalı beta, seçilmiş bir grubu davet eder; çoğu zaman bu özelliği isteyen müşteriler ya da tasarım ortaklarıdır. Açık beta ise herkesin katılmasına izin verir. Bazı ürünler sürekli güncellenen ve hiçbir zaman bitti ilan edilmeyen, kalıcı beta (perpetual beta) denen durumda kalır.

Alfa ve beta testi arasındaki fark nedir?

İki aşama arasında dört şey değişir: kim test eder, build ne kadar bitmiştir, nerede çalışır ve bir rapora ne olur. Alfa testçileri, eksik bir build üzerinde kontrollü bir kurulumda çalışan içeridekilerdir; beta testçileri ise tamamlanmış bir build’i gerçek iş için kullanan dışarıdakilerdir.

Son fark, raporları okuyanlar için en önemlisidir. Bir alfa raporu genellikle kodu bilen birinden gelir, bileşeni adlandırır ve adımları içerir. Bir beta raporu ise bir belirti gören birinden gelir ve aynı kök neden beş ayrı şikayet olarak ulaşabilir. Bu yüzden beta geri bildirimi geliştiricilere ulaşmadan önce triyaj ister: hataları isteklerden ayırmak, tekrarları birleştirmek ve test eden kişi ne yaptığını hâlâ hatırlarken ek sorular sormak.

Kapalı mı yoksa açık beta mı yapmalısınız?

Kapalı başlayın ve betayı yalnızca elle toplayamayacağınız bir ölçeğe ya da çeşitliliğe ihtiyaç duyduğunuzda açın. Kapalı bir grubu desteklemek daha kolaydır ve bitmemiş bir özelliğin sızma ihtimali daha düşüktür.

Uygulama mağazaları bu sırayı araçlarına yerleştirmiştir. Google Play üç test kanalı sunar: en fazla 100 test edenle dahili test, daha geniş bir davetli grup için kapalı test ve herkesin katılabileceği açık test. 13 Kasım 2023’ten sonra oluşturulan yeni kişisel geliştirici hesapları, üretim erişimine başvurmadan önce en az 12 test edenle, en az 14 gün boyunca kesintisiz katılımla kapalı bir test yürütmek zorundadır. Apple’ın TestFlight hizmeti geliştirme ekibinden en fazla 100 dahili ve en fazla 10.000 harici test edene izin verir; harici test edenlere gönderilen ilk build’in App Review tarafından onaylanması gerekir. Üç rakam da 16 Ekim 2026’da kontrol edildi.

Alfa ve beta build’lerine nasıl sürüm numarası verilir?

Her build’e hangi aşamaya ait olduğunu söyleyen ve release sırasına göre dizilen bir sürüm verin. Ön sürüm ekleri ikisini de yapar.

Semantic Versioning, bir ön sürümü, hedeflediğiniz sürümün ardına gelen bir tire ve noktayla ayrılmış tanımlayıcılarla belirtir. Spesifikasyonun kendi öncelik örneği şöyledir: 1.0.0-alpha < 1.0.0-alpha.1 < 1.0.0-alpha.beta < 1.0.0-beta < 1.0.0-beta.2 < 1.0.0-beta.11 < 1.0.0-rc.1 < 1.0.0; yani aşamalar özel bir işlem gerekmeden doğru sıralanır. Her build’i git etiketleri ve release’ler yazısında anlatıldığı gibi git’te etiketleyin; beta bittiğinde bir sonraki aşama bir release candidate olur.

Beta geri bildirimi nasıl toplanır ve triyaj edilir?

Test edenlere rapor vermek için tek ve belirgin bir yer verin, mümkünse ürünün içinde, ve ne yaptıklarını, ne beklediklerini ve ne olduğunu isteyin. Sonra her raporu hata, özellik talebi ya da soru olarak ayırın, tekrarları birleştirin ve test edene yanıt verin.

E-posta zincirleri ve sohbet kanalları betanın başında samimi görünür, ama bir hafta içinde aranamaz hale gelir. Ürün içindeki bir form ya da widget, test edenden yazmasını istemeden sayfayı, sürümü ve hesabı yakalar. Özellik talebi ile hata raporu arasındaki ayrımı alım aşamasında yapmakta fayda var, çünkü ikisi farklı sahiplere gider; yinelenen özellik talepleri ise sayıları korunarak birleştirilmelidir, çünkü on test edenin aynı şeyi istemesi başlı başına bir bulgudur. Changeloop’ta feedback widget’ı üzerinden gelen bir rapor, bug ya da feature-request etiketli, ayrıca bir öncelik etiketi ve from-widget etiketi taşıyan bir GitHub issue’su olur; böylece beta geri bildirimi, anlattığı işle aynı takipçide yer alır.

Beta testi ne zaman biter?

Beta, kalan sorunlar bilindiğinde, hiçbiri release’i engellemediğinde ve yeni raporlar seyrekleştiğinde biter. Çıkış kriterlerini beta başlamadan yazın; yoksa beta, birinin bir müşteriye söz verdiği tarihte bitmeye eğilimlidir.

İşe yarar bir çıkış kriteri kümesi:

  • Hiçbir açık hata engelleyici olarak derecelendirilmemiştir.
  • Çökme ve hata oranları, release için belirlediğiniz düzeyde ya da altındadır.
  • Günlük yeni rapor sayısı düşmüştür ve çoğu bilinen sorunları tekrarlar.
  • En çok istenen değişiklikler ya yapılmıştır ya da açıkça ertelenmiştir ve test edenlere hangisi olduğu söylenmiştir.
  • Destek dokümantasyonu ve release notes, test edenlerin gerçekte zorlandığı noktalara göre taslak halindedir.

Bunlar sağlandığında özellikleri dondurun ve ilk release candidate’i çıkarın. O andan sonra bulunan hatalar yalnızca yayını engelliyorlarsa düzeltilir.

Beta test edenlerle döngüyü nasıl kapatırsınız?

Test edenlere, bildirdikleri şeye ne olduğunu, bildirmek için kullandıkları kanalda söyleyin. Geri bildiriminin düzeltmeye dönüştüğünü gören insanlar test etmeye devam eder; hiçbir şey duymayanlar bırakır.

Her yeni beta build’i ile birlikte, test eden raporlarından gelen düzeltmeleri listeleyen kısa bir not gönderin ve hangi isteklerin release’e girmeyeceğini açıkça söyleyin. Son sürüm yayımlandığında release notes, test edenlerin yönlendirdiği değişiklikleri anmalıdır; release notes şablonu bunun için bir yapı sunar. Changeloop bunu rapor bazında yapar: bir widget issue’suna bağlı bir changelog girdisi onaylandığında issue, değişikliğin yayımlandığını söyleyen ve herkese açık changelog’daki girdiye bağlantı veren tek bir yorum alır. Daha geniş uygulama müşteri geri bildirim döngüsünü kapatmak yazısında ele alınıyor.

FAQ

Beta testi, kullanıcı kabul testi ile aynı mıdır? Örtüşürler, ama farklı soruları yanıtlarlar. Kullanıcı kabul testi yazılımı üzerinde anlaşılan gereksinimlere göre kontrol eder, genellikle onaydan önce müşteri ya da iş sahibi tarafından yapılır; beta testi ise daha geniş bir grubun ürünü pratikte nasıl kullandığını gözlemler.

Küçük bir ekip alfa testini atlayabilir mi? Kısaltabilir, ama tamamen atlamak risklidir. Dışarıdan biri görmeden önce ekibin build’i birkaç gün gerçek işinde kullanması bile, aksi halde test edenlerin ilk izlenimini boşa harcayacak çökmeleri ve bozuk akışları ortadan kaldırır.

Beta testinden sonra ne gelir? Bir release candidate, ardından genel kullanıma sunum. Aday, bir engelleyici bulunmadıkça değişmeden yayına çıkan, özellikleri dondurulmuş bir build’dir; nihai release de aynı build’in yeniden adlandırılmış halidir.

Kaç beta test edene ihtiyacınız var? Ürünün desteklediği platformları, hesap türlerini ve ana iş akışlarını kapsayacak kadar. Bazı mağazalar da bir alt sınır koyar; Google Play’in yeni kişisel geliştirici hesaplarından istediği 12 test edenli, 14 günlük kapalı test gibi.


Bu yazıdaki teknik iddialar bağımsız olarak kontrol edilmedi. Yanlış bir şey varsa bize söyle, düzeltelim.

Changeloop'ta ilgili sayfalar: Geliştirici dokümantasyonu, Release notu şablonu

changeloop
Döngüyü kapatan bir changelog geliştiren ekip. Kullanıcıların bir şey ister, ekibin teslim eder, isteyen kişi haberdar olur.