Müşteri; etkileşimli dersler, ödevler, öğrenci ve ebeveyn hesapları ve çevrimiçi ödeme sunan bir çevrimiçi eğitim platformudur. İşin belirgin özelliği yoğun mevsimselliktir: en fazla yeni öğrenci eylülde gelir ve eğitim yılının ilk haftalarında platformun durması müşterilerin kalıcı olarak kaybedilmesi anlamına gelir. İçeride QA ekibi yoktu; geliştiriciler testleri diğer işler arasında yapıyordu. Her sürüm öncesi regresyon testi üç gün sürüyor, yine de ödeme, derse kayıt ve sınıfa giriş gibi kritik senaryoları kaçırıyordu. Müşteri, bir ödeme hatasının yaz boyunca toplanan başvuruların bir kısmını kaybettirdiği yeni bir olaydan sonra bize geldi.
Kalite güvencesi sürecini sıfırdan kurmak:
iş risklerine göre önceliklendirilmiş test stratejisi, temel senaryoların otomasyonu, kontrollerin CI’ye entegrasyonu ve eylül yoğunluğu öncesinde yük testi. Kısıt, geliştirmeyi durdurmadan çalışmaktı: sürümler haftalık yayımlanmaya devam ediyor, eylül beklemiyordu.
Otomatik testlerle değil risk analiziyle başladık: Hangi senaryolar en sık bozuluyor ve bir hatanın bedeli nerede en yüksek? Otomasyonu bu listeye göre ilerlettik.
- Kalite denetimi yaptık: son altı aydaki hataları inceledik, ekiplerle görüştük ve en hassas senaryoları haritaladık: ödeme, derse kayıt, sınıfa giriş ve ebeveyn bildirimleri.
- Üç geliştirme ekibinin ortak kullanacağı test stratejisini yazdık: test seviyeleri, sorumluluk alanları, özellikler için definition of done ve hata raporlama kuralları.
- Kritik akışı otomatikleştirdik: web platformu için Playwright ile uçtan uca senaryolar, arka uç için API testleri ve her sürüm öncesi smoke test paketi.
- QA kapılarını CI’ye ekledik: smoke paketi başarılı olmadan sürüm yayımlanamaz; tam regresyon her gece çalışır ve sonuçlar GitLab’da tüm ekiplerce görülebilir.
- k6 ile yük testleri yaptık: eylül zirvesinin trafiğini modelledik, darboğazları bulduk ve sezon başlamadan arka uç ekibiyle giderdik.
- Süreci müşteriye devrettik: dokümantasyon, prosedürler ve QA mühendisinin otomatik testler ile dağıtım hattını kullanma eğitimi.
Temel karar, test kapsamının “güzelliğine” değil iş risklerine göre önceliklendirmekti. Yüzde yüz otomasyonun peşinden bilerek gitmedik: kritik senaryoların %75’inin kapsanması etkinin büyük kısmını sağladı, çünkü platformun müşteri kazandığı ve kaybettiği akışları koruyordu. Diğer alanlar önemli sürümler öncesinde elle yapılan keşif testleriyle kontrol ediliyor.
En büyük ekonomik etki, hataların daha erken bulunmasıdır: CI’de otomatik testin yakaladığı bir hata, öğrencinin ebeveyninin üretim ortamında bildirdiği hatadan onlarca kat daha ucuza gelir. Platform sezona dayanıklılık payıyla girdi; ekipler “cuma etkisinden” korkmadan değişiklikleri daha sık yayımlayabilir oldu. Ek bir kazanım işletmenin güveniydi: satış ekibi artık iş ortaklığı yaptığı okullara kayıt yoğunluğunda istikrarlı platform sözü verebiliyor.
| Gösterge | Sonuç |
|---|---|
| Üretimdeki kritik hatalar | Ayda 5–7 → Çeyrekte 1–2 |
| Sürüm öncesi regresyon | Elle 3 gün → Otomatik testlerle 4 saat |
| Eylül yük zirvesi | Her yıl olay → Performans düşüşü olmadan 0 olay |
| Hatanın tespit edildiği an | Çoğunlukla üretimde → Otomatik testler sürümden önce yakalıyor |
Göstergeler vaka çalışmasının kaynak materyallerinden aktarılmıştır. Süre, kaynakta belirtildiği yerlerde verilmiştir.
- çeyrekte kritik hata (önce ayda 5–7)
- 1–2
- otomatik testlerle regresyon (önce elle 3 gün)
- 4 sa
- kritik senaryolar otomatik testlerle kapsanıyor
- 75%
- eylül zirvesindeki olaylar
- 0
Gösterim amaçlı ölçek: 3 gün 72 saate çevrilir. Çubuk uzunlukları için aylık hata aralığı üçle çarpılarak çeyreğe uyarlanır; üst sınırlar karşılaştırılır.
- 01Commit
- 02Smoke test paketiyeşil değilse sürüm yok
- 03Sürümhaftalık
- 04Her geceTam regresyon
Platform için önerdiğimiz sonraki adımlar:
- Derslerin, e-postaların ve kullanıcı hesaplarının görünümünü otomatik kontrol eden görsel regresyon testi.
- Her test çalıştırması için gerçekçi öğrenciler, gruplar ve ödemeler üreten test verisi fabrikası.
- Üretimde QA: yeni özellikleri kademeli açmak için feature flag’ler ve canary sürümler.
Sürümlerden korkmayı bıraktık. Eskiden her cuma şikâyetleri incelemekle geçebilirdi; artık üretime çıkış on beş dakikalık rutin bir işlem.
— Çevrimiçi okulun CTO’su