Först och främst vill jag berätta om en uppenbarelse. Per Sundqvist från Sogetis Borlängekontor körde förbi Malmö i förra veckan med sin Roadshow och visade upp nyheterna inom Microsoft Visual Studio 12. Jag har sett en del förhandsversioner av denna men det blev ännu bättre än jag kunnat hoppas på! Ni som känner mig vet att jag inte är speciellt lättflörtad verktygsmässigt, men jag måste säga att detta är jag grymt imponerad av! Äntligen ser jag framför mig ett smidigt verktyg som effektivt kan stötta vårt testarbete och som dessutom är fullständigt integrerat med utvecklingsmiljön.
Se videoinspelningen av Pers genomdragning från Sogeti Inspiration Day i förra veckan: http://www.streamshed.com/microsoft/vsnews.htm (videostreamingen har visat tendenser till att fungera bäst i Google Chrome)
Kontakta Per på per.sundqvist@sogeti.se för mer information.
Nu till en mer framtidsfilosofisk verktygsanalys: Visualisering av testdata – MosaiCode
I höstas var jag inbjuden till en workshop på Lunds Tekniska Högskola för att med forskare och industrin tillsammans diskutera kring visualisering av testresultat. Rent praktiskt gick det till så att vi tittade närmare på och övade i ett verktyg vid namn MosaiCode (läs mer här: http://www.cs.kent.edu/~jmaletic/papers/VISSOFT11.pdf) som i originalutförande generellt används för att visualisera stora datamängder.
Detta verktyg har anpassas för att visualisera testfall där en färgad cell motsvarar ett testfall i ditt projekt. Detta rutmönster som uppenbarar sig kan vi sedan gruppera samt färgsätta utefter vissa kriterier kring till exempel antal dagar sedan senaste exekvering, antal exekveringar, antal tillfällen testfallet fallerat, osv.
Utgångspunkten för diskussionerna var om detta kan utgöra ett effektivt beslutsstödssystem för testresurser som ska bestämma vilka testfall som bör utgöra kandidaterna till en regressionstestsvit. Vi utgick från olika scenarier, där nyutveckling, relesedatum, portade system till nya plattformar ingick och vi försökte få en bild av hur det skulle kunna vara att jobba med verktyget i praktiken.
Ett exempel: Om jag som testare får i uppdrag att sammanställa ett utkast till vilka tester som verkar lämpliga att köra när vi utvecklar en ny feature i inloggningsskärmen kanske jag tänker som följer. Jag vill börja med att testa alla huvudscenarior vi har kopplade till inloggningen i vår testfallsdatabas kompletterat med de 5% mest failade testfallen i vår förra release, då vi ändrade inloggningen senaste gången samt 100% av de testfall som är märkta med att de testar datasäkerhet. Sedan går jag in i mitt urval och plockar bort de testerna som verkar testa alltför lika flöden för att få bort redundans. På så sätt har jag en bra samling tester att börja med likt hagel att skjuta som en första salva för att se om jag träffar på något otrevligt.
En sak som slog oss var att kopplingen till kraven eller källkoden inte var inbyggt i verktyget vilket gjorde att vi inte kunde få in en fullständig bild över riskerna kring komplexiteten i olika delar av lösningen samt vilka tester som testade av affärskritisk funktionalitet. Dessutom kunde inte tröskelvärdena ställas in, så gränserna och färgvalet lämnades till verktyget att få bestämma. Ibland kunde ena halvan färgas röd och andra grön och ibland fick 10% blå färg och 90% röd färg utan att användaren hade någon möjlighet att påverka. För att kunna använda detta i praktiken skulle detta behöva fungera samt en integration med ett test management tool så att ens urval skulle hamna i ett test set i t.ex HP Quality Center eller Microsofts Test Manager för att sedan kunna exekveras.
Det är kul och intressant att ha möjligheten att möta akademien och resten av industrin i sådana här diskussioner och i bakhuvudet fundera på vart vi är på väg. Borde inte verktygsleverentörer av testverktyg snart koppla på verktyg för business intelligence för att utgöra ett kraftigt beslutsstödssystem åt vår utvecklings-/testpersonal?
Tack till Emelie Engström samt Per Runeson på LTH för en spännande workshop! Kontakta gärna Emelie och Per på emelie.engstrom@cs.lth.se respektive Per.Runeson@cs.lth.se för mer utförlig information.
” Borde inte verktygsleverentörer av testverktyg snart koppla på verktyg för business intelligence för att utgöra ett kraftigt beslutsstödssystem åt vår utvecklings-/testpersonal?”
Har du testat Qlikview?