• Home
• Nieuws

Balans tussen handmatig en automatiseren is de heilige graal van testen

Geplaatst door CorporatieMedia op Tuesday 15 May 2018

Testautomatisering is in opkomst. In de afgelopen jaren steeg het gemiddelde percentage van automatisch uitgevoerde softwaretests van 28 naar 45 procent. Zijn ‘robots’ en scripts die de ICT-systemen van woningcorporaties testen de toekomst? René Ceelen van testspecialist TESTMONITOR | CEPO nam samen met woningcorporatie Portaal de proef op de som en onderzocht de mogelijkheden van automatisch testen. De resultaten deelde hij met CorporatieGids Magazine.

Download hier het originele artikel uit CorporatieGids Magazine editie SBI Maart 2018

Bij het onderzoek naar automatisch testen werd het klantcontactproces van Portaal onder de loep genomen. Op de vraag waarom juist dit onderdeel is onderzocht, zegt René: “Binnen Portaal is het lastig om de mensen van het KCC vrij te plannen om te testen. Daarnaast is dit een proces dat direct gerelateerd is aan klantcontacten, dus je uiteindelijke huurders. Bij elke wijziging van een systeem of release wil je dat zij er zo min mogelijk van merken.”

Heilige graal
Testautomatisering is eigenlijk softwaretesten met software, beschrijft René. “Veel mensen denken dat testautomatisering de heilige graal is omdat je geen handmatige handelingen meer zou hoeven uit te voeren, maar dat is niet zo. Het doel van automatisch testen is het reduceren van handmatige handelingen, maar compleet verdwijnen zal het niet. Op het moment dat iets wijzigt in je proces of IT-inrichting moet je dit eerst handmatig testen voordat je de ‘robot’ kunt vertellen wat hij moet doen.”

Vijf keer
Uit de resultaten van het onderzoek bleek automatisch testen veel sneller te zijn dan handmatig. Een interactielogpost met taak werd ruim vijf keer zo snel uitgevoerd als bij handmatig testen, terwijl een interactielogpost zonder taak ruim vier keer zo snel werd afgerond. “Daarbij moet je wel rekening houden dat automatisch testen meer voorbereiding vereist. Als wij de resultaten tegenover elkaar zetten, bleek dat na 5,5 testrondes de investering van de voorbereiding weer is terugverdiend. En dat geldt dan alleen voor die processen die wij in de pilot hebben gemeten. Of dat betekent dat corporaties op de lange termijn hun investering terugverdienen, hangt af van wat je als organisatie wilt bereiken en hoeveel tijd je hiermee mee bezig bent. Een robot kun je namelijk altijd laten draaien, terwijl je een mens moet plannen en vrijmaken van hun dagelijks werk.”

Twaalf varianten
Daarbij is de kwaliteit ook hoger, legt René uit. “Naast de snelheid hebben wij met de robot alle scenario’s laten testen. Dus niet alleen één object voor het succespad, maar – in het geval van Portaal – direct alle twaalf varianten. Dit kan omdat je de inputdetails van de robot variabel kunt maken waardoor hij hetzelfde script twaalf keer achterelkaar doet met verschillende data. Het enige verschil met de mens is dat deze impliciete waarneming heeft om dingen te zien die niet in het testscript staan.”

Systeem in beweging
Deze kanttekening is volgens René de reden dat corporaties niet moeten ‘doorslaan’ met automatisch testen, en een juiste balans tussen automatiseren en handmatig testen essentieel is. “Een mens kan dingen zien en interpreteren zonder dat daar een complex script tegenover staat. Een teststap van ‘Doe een huuropzegging’ zou bijvoorbeeld voor een mens al voldoende kunnen zijn. De robot kan hier helemaal niets mee. Deze verwacht gedetailleerde input, throughput (wat moet ik doen) en output. En dit moet zo gedetailleerd mogelijk zijn met alle details om de daadwerkelijke output en de gegeven verwachting te beoordelen met goed of fout.”

“Automatisch testen werkt daarom niet goed als het proces of systeem nog in beweging is,” legt René uit. “Omdat het veel tijd kost de robot te vertellen wat hij moet meten, ben je veel tijd kwijt aan het constant aanpassen van de variabelen. En doe je dit niet, krijg je continu foute bevindingen terug.”

Synergie
Een toekomst waarin alle ICT-systemen automatisch worden getest is volgens René dan ook niet reëel. ‘’Maar door de twee testvormen te combineren valt er wel veel synergiewinst te boeken, zeker als je samen met primaire softwareleveranciers de koppen bij elkaar steekt. Bij primaire implementaties wordt zo’n tachtig procent momenteel nog handmatig getest. In de beheerfase zal dat echter verschuiven naar tachtig procent geautomatiseerd. In het ERP vakgebied ontkom je er dus niet aan om hiermee aan de slag te gaan. Als je bepaalde geautomatiseerde testscripts kunt hergebruiken in je eigen IT-landschap, bespaar je bovendien voorbereidingstijd. Daarnaast kun je als corporatie ook samenwerken met andere corporaties met een soortgelijke inrichting, om zo opnieuw veel tijd te winnen in de voorbereiding.”

Handmatig én geautomatiseerd
Op de vraag of het motto ‘werkt het én kun je ermee werken’ ook van toepassing is op automatisch testen, zegt René: “Zeker. Het ‘werkt het’ wordt al dan niet geautomatiseerd door de softwareleverancier getest. En het ‘kun je ermee werken’ wordt vanuit de eigen klant-organisatie getest. Hiermee test je dus het proces wat over meerdere systemen kan gaan. En juist dat laatste deel is het gebied waar wij ons op bevinden: testen vanuit de gebruiker, zowel handmatig als geautomatiseerd.”

Bron: CorporatieGids Magazine | Foto: CEPO | Testmonitor