ग्राहक ऑनलाइन शिक्षा का प्लेटफ़ॉर्म है: इंटरैक्टिव पाठ, गृहकार्य, छात्रों और अभिभावकों के व्यक्तिगत खाते तथा ऑनलाइन भुगतान। कारोबार में मौसम का असर बहुत तेज़ है: सितंबर में सबसे अधिक नए छात्र जुड़ते हैं और शैक्षणिक वर्ष के शुरुआती हफ़्तों में प्लेटफ़ॉर्म बंद रहने का अर्थ है ग्राहकों को हमेशा के लिए खो देना। कोई आंतरिक QA टीम नहीं थी; डेवलपर कामों के बीच परीक्षण करते थे। रिलीज़ से पहले रिग्रेशन में तीन दिन लगते थे, फिर भी भुगतान, पाठ की बुकिंग और कक्षा में प्रवेश जैसे अहम परिदृश्य छूट जाते थे। भुगतान की गड़बड़ी के कारण स्कूल ने गर्मियों में जुटाए आवेदन खो दिए, और एक और घटना के बाद ग्राहक हमारे पास आया।
शून्य से गुणवत्ता आश्वासन प्रक्रिया बनाना:
व्यावसायिक जोखिम के आधार पर प्राथमिकता वाली परीक्षण रणनीति, प्रमुख परिदृश्यों का ऑटोमेशन, CI में जाँचों का एकीकरण और सितंबर की चरम अवधि से पहले लोड परीक्षण। विकास रोके बिना काम करना भी ज़रूरी था: रिलीज़ हर हफ़्ते जारी थीं और सितंबर का इंतज़ार नहीं किया जा सकता था।
हमने ऑटोमेटेड टेस्ट से नहीं बल्कि जोखिम विश्लेषण से शुरुआत की: कौन-से परिदृश्य सबसे अधिक टूटते हैं और किस बग की कीमत सबसे अधिक है। ऑटोमेशन इसी सूची के अनुसार सख़्ती से किया गया।
- गुणवत्ता ऑडिट किया: पिछले छह महीनों के बग देखे, टीमों से बातचीत की और सबसे समस्याग्रस्त परिदृश्यों का नक्शा बनाया—भुगतान, पाठ बुक करना, कक्षा में प्रवेश और अभिभावकों को सूचनाएँ।
- टेस्ट रणनीति लिखी: परीक्षण के स्तर, ज़िम्मेदारी के क्षेत्र, सुविधाओं के लिए definition of done और बग रिपोर्टिंग के नियम—तीनों विकास टीमों के लिए एक समान।
- महत्वपूर्ण मार्ग को ऑटोमेट किया: वेब प्लेटफ़ॉर्म के लिए Playwright पर e2e परिदृश्य, बैकएंड के लिए API परीक्षण और हर रिलीज़ से पहले smoke सेट।
- CI में QA गेट जोड़े: smoke सेट सफल हुए बिना रिलीज़ संभव नहीं; पूरा रिग्रेशन हर रात चलता है और नतीजे GitLab में सभी टीमों को दिखते हैं।
- k6 से लोड परीक्षण किया: सितंबर की चरम अवधि के ट्रैफ़िक का अनुकरण किया, बाधाएँ ढूँढ़ीं और मौसम शुरू होने से पहले बैकएंड टीम के साथ उन्हें दूर किया।
- प्रक्रिया ग्राहक की टीम को सौंपी: दस्तावेज़ीकरण और नियम दिए, तथा QA इंजीनियर को ऑटोमेटेड टेस्ट और पाइपलाइन चलाना सिखाया।
मुख्य निर्णय व्यावसायिक जोखिम के अनुसार प्राथमिकता देना था, «कवरेज को सुंदर» दिखाना नहीं। हमने जानबूझकर 100% ऑटोमेशन के पीछे नहीं भागा: महत्वपूर्ण परिदृश्यों का 75% कवरेज ही अधिकांश असर लाया, क्योंकि इससे वही रास्ते सुरक्षित हुए जिनसे प्लेटफ़ॉर्म ग्राहक कमाता या खोता है। बाकी की जाँच महत्वपूर्ण रिलीज़ से पहले हाथ से खोजपरक परीक्षण के ज़रिये होती है।
सबसे बड़ा आर्थिक असर दोषों की पहचान को पहले के चरण में लाना था: CI में ऑटोमेटेड टेस्ट से पकड़ा गया बग, प्रोडक्शन में छात्र के अभिभावक द्वारा देखा गया बग ठीक करने से दर्जनों गुना सस्ता है। प्लेटफ़ॉर्म मौसम में अतिरिक्त सुरक्षा के साथ पहुँचा और टीमें «शुक्रवार को रिलीज़» के डर के बिना बार-बार बदलाव जारी कर सकीं। एक और लाभ कारोबार का भरोसा था: बिक्री टीम अब साझेदार स्कूलों से चरम नामांकन अवधि में स्थिर प्लेटफ़ॉर्म का ईमानदारी से वादा कर सकती है।
| मापदंड | परिणाम |
|---|---|
| प्रोडक्शन में गंभीर बग | 5–7 प्रति माह → 1–2 प्रति तिमाही |
| रिलीज़ से पहले रिग्रेशन | हाथ से 3 दिन → ऑटोमेटेड टेस्ट से 4 घंटे |
| सितंबर की चरम लोड अवधि | हर साल घटनाएँ → 0 घटनाएँ, प्रदर्शन में गिरावट के बिना |
| दोष की पहचान का समय | अधिकतर प्रोडक्शन में → ऑटोमेटेड टेस्ट रिलीज़ से पहले पकड़ते हैं |
मेट्रिक्स केस की मूल सामग्री से लिए गए हैं। अवधि वहीं दी गई है जहाँ स्रोत में दर्ज है।
- प्रति तिमाही गंभीर बग (पहले 5–7 प्रति माह)
- 1–2
- ऑटोमेटेड टेस्ट से रिग्रेशन (पहले हाथ से 3 दिन)
- 4 घंटे
- मुख्य परिदृश्य ऑटोमेटेड टेस्ट से कवर हैं
- 75%
- सितंबर की चरम अवधि में घटनाएँ
- 0
दर्शाने के लिए पैमाना: 3 दिन को 72 घंटे में बदला गया है। बार की लंबाई के लिए मासिक बग सीमा को तीन से गुणा करके तिमाही में बदला गया है; ऊपरी सीमाओं की तुलना की गई है।
- 01कमिट
- 02स्मोक टेस्ट सेटसफल नहीं तो रिलीज़ नहीं
- 03रिलीज़साप्ताहिक
- 04हर रातपूरा रिग्रेशन
अगले कदम के रूप में हम प्लेटफ़ॉर्म को यह सुझाते हैं:
- विज़ुअल रिग्रेशन परीक्षण—पाठों, ईमेल और व्यक्तिगत खातों के लेआउट की स्वचालित जाँच।
- टेस्ट डेटा फ़ैक्टरी—हर रन के लिए वास्तविक लगने वाले छात्र, समूह और भुगतान तैयार करना।
- प्रोडक्शन में QA—नई सुविधाओं को धीरे-धीरे चालू करने के लिए feature flags और canary रिलीज़।
हमने रिलीज़ से डरना छोड़ दिया। पहले हर शुक्रवार शिकायतों की जाँच में बदल सकता था; अब प्रोडक्शन में रिलीज़ करना पंद्रह मिनट की नियमित प्रक्रिया है।
— ऑनलाइन स्कूल के CTO