Efter att ha lyssnat på ett föredrag om framtid och tendenser inom test började jag fundera på vad vi egentligen fokuserar på.
Stommen av föredraget var att Scrum, agilt, utvecklarnära tester, automatisering, TDD osv var det som var hett i framtiden. Det är de vanligaste ämnena för kurser, föredrag på konferenser samt nyckelord i jobbannonser enligt föredragshållaren.
Om man då tittar på definitionen av test så handlar det om att verifiera mot förväntat resultat samt mäta kvalité:
– Software Testing is an empirical investigation conducted to provide stakeholders with information about the quality of the product or service under test, with respect to the context in which it is intended to operate. [Wikipedia.org]
– The process of exercising software to verify that it satisfies specified requirements and to detect errors. [http://www.testingstandards.co.uk]
– Testing is the process of using a system or component under given circumstances, of observing or noting the result, and carrying out an evaluation of the system or component from a given perspective. [IEEE Standard 610.12-1990]
Med andra ord, vårt huvudsyfte är att mäta och presentera kvalité men det som intresserar oss mest är metoder för att testa snabbare och effektivare men hur vet vi att vi faktiskt blir effektivare? Jag undrar, hur många organisationer kan faktiskt visa på papper hur bra man är? Vad man har för kvalité? Och hur nya metoder påverkar kvalitén och effektiviteten på testerna? Hur många fokuserar och bygger framtiden på huvudsyftet med test, att mäta kvalitén?
En utmaning, som vi som sysslar med test ofta ställs inför är:
Mer pengar till utveckling -> Fler funktioner
Mer pengar till test -> ???
Enligt mig hänger detta ihop med att mäta kvalité. Mer pengar till test bör som första steg resultera i kontroll över kvalitén, bra beslut- och riskunderlag. Som steg två kommer effektivare tester men för att kunna argumentera för att test ska få mer pengar behöver vi kunna visa att vi kan bli effektivare. Hur gör vi det utan mätetal? Inte så konstigt att det är svårt att få pengar till test när vi inte kan visa vad vi gör, leverera något av värde samt visa på ROI. För att vi ska kunna uppnå detta krävs större fokus på huvudsyftet med test, att mäta kvalitén!
Hej Linda,
Innan jag ger mig in på att kommentera din artikel skulle jag gärna vilja veta lite mer. Så att vi inte pratar förbi varandra
Kan du lägga ut texten lite mer kring vad du menar när du skriver
”mäta kvailten”
” resultera i kontroll över kvalité”
” Hur gör vi det utan mätetal?” – mätetal över vad?
Känner att det är ganska viktigt att du beskriver vad dessa fraser betyder för dig så att jag inte missuppfattar dig
Tackar!
En bra frågeställning! Det är nyttigt att funderar på vart man är, och vart man ska; alla är vi nog lite vilse ibland, det hör väl till livet.
Men jag har några viktiga invändningar mot innehållet i din artikel:
1) Definitionerna som du citerar beskriver vad testning är, inte vad syftet med testning är. Notera också att det är tre olika, smått motstridiga, definitioner, man kanske ska välja den man gillar bäst?
2) Syftet med testning för mig är att vara med och bidra till en bra produkt. Att verifiera krav är en del av det; att ta fram mätresultat kan vara en del av det; men det slutliga syftet är defintivt inte det man producerar i pappersform. Testning har dessutom inget eget syfte; testning är en del av en större helhet, som troligen går ut på att göra riktigt bra programvara. Visst kan testning ha viktiga delsyften, men att bryta loss den helt som du gjort i artikeln tror jag inte är bra.
3) Jag tror inte att det går att mäta kvalitet på ett objektivt sätt. Programvaran är till för oss människor, och människors användande av programvara är inte objektivt; det är subjektivt; applikationens värde är något som uppstår i interaktionen mellan ett program och dess användare. “Objektiva” siffror reducerar bort för mycket viktig information.
4) Då programvara inte är något helt kontrollerbart, där man känner till “allting” som ingår (vilket troligen behövs för naturvetenskapliga beräkningar), så går det inte att “visa på papper hur bra man är”; såvida det inte är OK att ta bilder på nöjda kunder, och det var nog inte det du menade.
Och varför måste allt “bevisas”? Jag tror man kommer riktigt långt genom att fråga testarna och utvecklarna, och de andra: tycker ni att vi är mer effektiva nu när vi använder metod X? Varför kan man inte våga lita på folk? Är det extra lite förtroende för testare???
5) Är “Mer pengar till test” det viktigaste? Naturligtvis ska vi ha bra löner, vettiga verktyg och arbetsmiljö; men finns det inget läge där det är lagom? Jag tror det är en inte ovanlig situation att testarna har det jäkligt tufft, men att utvecklarna har det ännu värre, och aldrig hinner bli riktigt färdiga (vilket också leder till en svårare situation för testarna…)
Så jag tycker inte man ska stirra sig blind på enbart testningen; tänk holistiskt!
Och man ska inte gömma sig bakom siffror och mätvärden; våga lita på att vår subjektivitet fångar det viktigaste!
Linda, bra artikel som lyfter blicken.
Hittade av en slump, att liknade diskussioner, om att mäta kvalitet eller inte, även förkommer i andra ämnesområden. Problemen, behoven och farhågorna är i mångt och mycket de samma som de som vi inom test brottas med.
Nedanstående citat handlar om att mäta kvaliteten på universitetens utbildningar och härstammar från Anders Flodstöm som är Universitetskansler. Citatet finns att läsa i följande publikation: http://www.hsv.se/download/18.6e4bc4761168c296e0580001363/NoD_0708.pdf
“En motsvarande diskussion avseende möjligheterna att mäta utbildningens kvalitet ger en mer splittrad bild. Många anser att svårigheterna att mäta överstiger eventuella vinster i form av ökad kvalitet. Svårigheterna
kommer helt enkelt att resultera i misstag som snarare motverkar en utveckling mot ökad kvalitet. Andra anser att det är nödvändigt att börja mäta utbildningens kvalitet om vi ska få den utveckling som
ger både studenter och avnämare till studenterna den kunskap och de färdigheter som universiteten är till för att förmedla.”
Ett närliggande favoritcitat:
“Ser man till forskningen om styrning av organisationer råder det stor enighet om att organisationer med komplex verksamhet inte bör styras med hjälp av kontroller och övervakning.”
Hans-Åke Scherp, http://www.svd.se/opinion/brannpunkt/artikel_1006953.svd
Sen är ju frågan om man tycker att testning (eller utbildning för den delen) är en komplex verksamhet eller inte…
Henrik och Rikard: jag tar gärna en diskussion om vad jag tycker man kan, bör mäta och inte men det var inte syftet med denna artikel. Vad man väljer att mäta och hur är mycket upp till vad det är man testar, hur organisationen ser ut och vad de är mottaglig för. Min mening är att jag inte alltid tycker att det rimmar så bra, vad vi verkar fokusera på och vad syftet/definitionen av test är.
Jag anser absolut att man ska jobba för att effektivisera och prova nya metoder men att man inte får helt och hållet glömma bort grunden och vår professionalism genom att presentera tydliga resultat av vårt arbete.
Rikard:
”Jag tror man kommer riktigt långt genom att fråga testarna och utvecklarna, och de andra: tycker ni att vi är mer effektiva nu när vi använder metod X? Varför kan man inte våga lita på folk? Är det extra lite förtroende för testare???”
Detta håller jag inte med om. Det är klart att man ska ha förtroende och våga lita på folk men jag är nog lite mer av en ”faktamänniska”. Det ska inte vara mätningar för mätningarnas skull utan man måste hitta siffror som faktiskt säger något. Kanske kan man presentera dessa tillsammans med utlåtande från de som jobbar med metod X? Jag har många gånger upplevt det svårt att argumentera och diskutera högre upp i organisationen om jag endast har utlåtanden och magkänsla att gå på. Jag tycker dessutom inte det är så förtroendeingivande eller professionellt att inte kunna visa svart på vitt vad t.ex. en investering lett till.
”Naturligtvis ska vi ha bra löner, vettiga verktyg och arbetsmiljö; men finns det inget läge där det är lagom?”
Det kanske inte handlar om bra löner och vettiga verktyg utan att ha en testorganisation överhuvudtaget.
”Och man ska inte gömma sig bakom siffror och mätvärden”
Jag tycker absolut inte man ska gömma sig bakom siffror och mätvärden. Tvärt om! Man ska våga presentera fakta om sitt arbete och våga stå för den. Det kan likaväl bli, ”kolla va bra vi är” som ”Vi behöver verkligen göra något åt vår situation. Vi kör för få testfall och hittar inte dom allvarligaste felen!”
Okej då undviker vi diskussionen om vårt huvudsyfte är att man mäter kvalité eller ej (då det inte var syftet med artikeln).
Jag tror fortfarande inte riktigt jag förstår vad du är ute efter. Men här kommer en blandad skur.
Att man kan bli lite förvirrad och känna att det spretar förstår jag. Mycket av det samt att det finns flera olika definitioner på test beror på att det finns olika skolor med olika syn på test inom vårt yrke så som academic, factory (standard), quality, contextdriven samt Agile. Bret Pettichord gjorde för något år sedan en jämförelse mellan de olika skolorna för er som vill lära er mer om det. Tittar vi närmre på vad de olika skolorna tar upp och värderar så är det motstridigt och det är svårt att hitta en gemensam grund att stå på. Detta skapar viss förvirring och en del kofontrationer.
För min del är detta helt okej, jag väljer bara att antingen ignorera eller kämpa mot de krafter som jag tycker förstör mitt yrke.
Jag tycker det är viktigt att var och en skapar sig sin egen bild av vad deras yrke är och jobbar ut efter det istället för att hoppa mellan de olika skolorna och försöka göra alla glada.
Jag får nog säga att jag inte har några som helst konflikter med vad jag fokuserar på, vad jag anser att definitionen av test är samt vad jag anser att syftet med test är. Jag känner mig bekväm med Cem Kaners definition av testing som du även hade med.
“Software Testing is an empirical investigation conducted to provide stakeholders with information about the quality of the product or service under test, with respect to the context in which it is intended to operate”
När jag tolkar denna fras så har detta inte ett dugg att göra med ” verifiera mot förväntat resultat samt mäta kvalité”. Så att det är vår definision av test ställer jag mig helt främmande till.
Jag tycker att Rikards kommentar är mycket bra och ställer mig helt bakom de invändningar han skriver så det behöver jag inte ta upp igen.
Linda du säger att du är en ”faktamänniska”. Är faktan viktigare än dess relevans eller äkthet. Riskerar du inte då att de subjektiva tolkningar som görs baserat på din ”fakta” kommer att leda till att fel beslut tas. Om inte det finns den typ av fakta som du behöver (vilket jag argumenterar för att det sällan finns inom test) innebär det då att det inte finns något värde i det som är görs?
Att förhålla sig till test som att allt som är värt något måste vara mätbart i siffror är som att säga att ett mjukvara är ju bara 1or och 0or. Alså en opraktiskt förenklad modell av verkligheten. Allt vi gör, uppfattar och presenterar bygger just på modeller och det är viktigt att dessa är giltiga och trovärdiga.
Mätningar kan fylla ett bra syfte, dock så använder jag mig inte av de traditionella och ofta etablerade mätningar som finns i vår bransch, då jag anser dom vara vilseledande.
Ja det är inte alltid lätt att förklara för ledningsfolk varför man väljer att visa, i mitt tycke, ärlig och relevant information istället för det de är vana vid att få. Men är ”att det är svårt att argumentera” en skälig anledning till att istället lura och vilseleda, inte för mig i alla fall och det är väldigt långt ifrån ”förtroendeingivande eller professionellt”!
Känner man att man har svårt med argumenten så får man öva, förbättra och slipa på sin argumentation. Eller kanske gå tillbaks och titta på vilka grundvärderingar man bygger sin argumentation på, de kanske inte är försvarbara.
Jag känner att jag får trovärdighet, uppskattning och förtroende när jag kan lära och demonstrera för mina intressenter hur de kan ta del av testningen på ett värdefullare sätt.
Jag känner att det i vårt yrke inte är svart eller vitt och vi ska inte skapa modeller som utgår från att det är så. Kan man inte förlika sig med detta så tror jag inte att man kommer att utföra bra testning och man kan kanske få bättre tillfredställelse i något annat yrke som uppfyller ens krav på mätbarhet, svart eller vitt och rätt eller fel.
Jag förstår inte denna besatthet av att till varje pris simplifiera vårt yrke.
Hur, vad och varför mäta när vi pratar om kvalitet är en viktig diskussion. Jag fastnade lite för en av punkterna som redan är kommenterade av både flertalet personer, så jag nöjer mig med att bidra med ett par länkar till en intervju med Michael Bolton som under STAREast bland annat ger sin syn på just definition och syfte med testning samt vart vi är på väg.
“…quality is by its nature subjective.” – Bolton
Del 1: http://www.youtube.com/watch?v=f0wXAsHR9uM
Del 2: http://www.youtube.com/watch?v=Do3nEoGCU-A
Del 3: http://www.youtube.com/watch?v=LdJX6KQshhA
Det är intressanta inlägg som tydligt visar på två olika skolor/synsätt angående mätningar och mätetal.
För att svara på Henriks direkta frågor:
“Linda du säger att du är en ”faktamänniska”. Är faktan viktigare än dess relevans eller äkthet.”
Nej, faktan är absoulut inte viktigare än dess relevans och äkthet. Som jag skrev innan “Det ska inte vara mätningar för mätningarnas skull utan man måste hitta siffror som faktiskt säger något.” Säger inte sifforna något eller är felaktiga ska man inte presentera dom heller, det är ju helt bortkastat och vilseledande. En ensam siffra säger dessutom oftast inte så mycket utan man måste ha lite bakgrund, jämförelse med tidigare körningar, analys m.m.
“Riskerar du inte då att de subjektiva tolkningar som görs baserat på din ”fakta” kommer att leda till att fel beslut tas.”
Om faktan skulle leda till felaktiga beslut är den lika felaktig som subjektiva åsikter som leder till felaktigt beslut. Jag ser ingen skillnad i om felaktiga beslut tas på felaktig fakta eller felaktiga åsikter.
“Om inte det finns den typ av fakta som du behöver (vilket jag argumenterar för att det sällan finns inom test) innebär det då att det inte finns något värde i det som är görs?”
Absolut inte! Utan att köra testfall och rapportera fel kommer vi ingenstans och det är alltid bättre att åtminstone göra det än inget alls. Men om man nöjer sig med det anser jag att vi tappat en stor del av syftet/definitionen av test, att just presentera vettig info om kvalitén. Jag håller med dig om att det ofta är svårt att få fram vettig fakta. Speciellt i omogna testorganisationer men jag tycker det är värt att kämpa för att få fram det.
Henrik du skriver,
“Mätningar kan fylla ett bra syfte, dock så använder jag mig inte av de traditionella och ofta etablerade mätningar som finns i vår bransch, då jag anser dom vara vilseledande.
Ja det är inte alltid lätt att förklara för ledningsfolk varför man väljer att visa, i mitt tycke, ärlig och relevant information istället för det de är vana vid att få. Men är ”att det är svårt att argumentera” en skälig anledning till att istället lura och vilseleda, inte för mig i alla fall och det är väldigt långt ifrån ”förtroendeingivande eller professionellt”!
Nu är jag mycket nyfiken på att få ett konkret exempel, som kommentar eller ännu hellre egen artikel, på hur du brukar rapportera till ledningen. Vilka mätningar du använder osv. osv.. Jag tycker ju inte traditionella mätetal lurar och vilse leder, men är mycket ivrig på att se och förstå de alternativ som du förespråkar.
Linda Tack för dina svar!
Problemet jag har med denna fras
”Det ska inte vara mätningar för mätningarnas skull utan man måste hitta siffror som faktiskt säger något.”
som jag inte tycker riktigt hänger ihop med när du säger att man inte alltid behöver ha mätningar för att visa något är att du skriver ”man måste hitta siffror som faktiskt säger något.”
Måste? Nä jag tycker inte att det är ett måste att hitta siffror, jag kan klara mig utan dem oxå.
Alla tolkningar, åsikter, beslut eller liknande är subjektiva och all ”data” eller ”fakta” är subjektiv. Det är dess validitet som är det intressanta. Om då faktan inte är vad den utger sig för att vara så kan de subjektiva beslut vara helt korrekta som görs baserat på faktan. Alså blir faktan vilseledande och det tycker jag är värre för det är jag som tillhandahåller den och står för den. Om jag gjort vad jag kunnat för att hjälpa mina intressenter och dom tar ett felaktigt beslut som inte kan härledas till min insats så är det inte riktigt mitt problem då det inte är något jag haft möjlighet att påverka just det (även om jag kan drabbas av konsekvenserna).
Jonas, du har helt rätt! En artikel är under produktion. Dock så har jag haft lite annat att fokusera på senaste tiden och jag åker till usa imorgon så det lär dröja ett par veckor innan det blir klar.
Så alla som känner sig påhoppade av mina åsikter i denna debatt, nu får ni chansen att ge igen. Så slippa pennorna och förbered era argument 🙂
Det är svårt att hitta bra och rättvisa objektiva mätvärden inom test, kanske omöjligt?
En variant som jag tycker fungerar hyfsat är att ha “mätindikatorer” för internt bruk (regressionstestresultat, regressionstesttäckning, antal problemrapporter exempelvis) som sedan är en input till den slutgiltiga subjektiva bedömningen av kvalitén förutom all annan kunskap vi redan har vid rapporttillfället.
Det man sedan rapportar utåt är en subjektiv bedömning av kvalitén och testtäckning, totalt och för respektive område. Här är ett exempel på hur det kan se ut: http://abouttesting.blogspot.com/2008/06/testing-dashboard.html