Denna artikel är skriven som ett öppet svar till Computer Swedens artikel “Svenska testare gammalmodiga” publicerad den 11juli 2011. Där berättar Sogetis Mattias Bergströmner om de slutsatserna utifrån deras undersökning “World Quality Report”.
Vi är medvetna om att detta svar kommer väldigt sent från oss. Anledningen är att vi hoppats att denna ”quality report” skulle gå obemärkt förbi och falla i glömska. Denna visar sig tyvärr vara seglivad och Mattias kommer dyka upp på konferenser under våren och sprida sitt budskap. Vi kan tyvärr inte närvara vid dessa tillfällen men känner att vi vill bemöta hans budskap. Vi anser att den bild Mattias målar upp inte överensstämmer med vår egen, därmed försöker vi beskriva det vi ser. Vi kunde inte heller undvika att peka på ett antal tveksamma påståenden. Detta är inte något påhopp på någon som inte ber om det utan har man uttalat sig offentligt om någonting så har man öppnat dörren för andra åsikter.
För det första så tycker vi det är väldigt tråkigt att när det äntligen skrivs något om test så ska någon surputte komma fram och trycka ner oss i skiten när det istället finns så mycket positivt att lyfta fram. Vår förhoppning när ni läser vår artikel är att ni ser det oseriösa i den propaganda som brukas samt att det finns andra betydligt mer positiva initiativ som förhoppningsvis är mer motiverande.
Låt oss börja med de siffror Mattias hänvisar till. 1200 personer har deltagit i undersökningen varav 8% är från Norden och 4% är från Sverige. Detta innebär att 96 personer som svarade var Nordiska varav 48 personer Svenskar. När underlaget baserar sig på ett så litet antal personer, som självmant valt att svara på undersökningen, så behöver man inte ha stor kännedom om statistik för att ana att man här kan ha problem med urvalsbias som då kan omkullkasta relevansen av påföljande resultat. Något som verkar uppröra Mattias Bergströmner är att 22% av de Nordiska deltagarna utför mycket manuell testning (varför nu det skulle innebära att det är bra eller dåligt har vi svårt att förstå utifrån en siffra). 22% av 96 är snällt räknat 22 personer. Det skulle vara enkelt att ta fram 22 personer som påvisar motsatsen, men vilken trovärdighet och relevans har det? Med så litet urval som Sogeti/Cap Gemini/HP lutar sig på, går det verkligen att dra generella slutsatser om testare i Sverige?
Vi håller heller inte riktigt med om att testare möts av samma utmaningar i agila utvecklingsmetoder som i traditionella metoder. Vi kan förstå att det är svårt att använda samma metoder oavsett vilken kontext man hamnar i. Det är då lätt att säga att man möts av samma utmaningar. Det vi sett är att utforskande testning, där man använder Session-based Test Management (SBTM) eller Thread-based Test Management (TBTM), passar utmärkt i en agil miljö. Man kan då ge teamet mycket testning med ökad flexibilitet och precision i vad man testar. Detta är något vi i Sverige är väldigt bra på och har stor erfarenhet av och utvecklar vidare.
Det som faktiskt är gammalmodigt, som vi ser det, är att säga att automatisering borde användas mer. Det flesta inom produktutveckling vet numera att man försöker automatisera så mycket man kan. Både arbetsuppgifter och tester, men bara när det är av värde, detta är ingen trivial uppgift och inte lätt att lyckas med. I många projekt gör man manuell testning just för att det är billigare, bättre och snabbare. Det är inte alltid intressant att köra om samma test eller arbetsuppgift på nytt då man istället gör en variant av testen för att få fram ny information.
Det är också intressant att man i artikeln föreslår att man ska frigöra testning från utveckling, även detta en gammal myt. Ett gott resultat, som vi ser det, får man ofta när kravställare, testarna, utvecklarna och andra roller jobbar närmare varandra i samma utvecklingsprocess t.ex. i tvärfunktionella team.
En definition, myntad av Gerald M. Weinberg, på kvalitet är “Quality is value to some person”. Detta implicerar att personer ser på kvalitet på olika sätt. Mätetal kring kvalitet blir därmed komplext. Andra problem med mätetal är t.ex. att du får det du mäter. Om du räknar antalet buggar rapporterade per testare, där ett högt tal är bra, så kommer testare rapportera fler buggar. Troligtvis kommer väldigt många buggar ha sämre kvalitet och vara av mindre betydelse. En testare kanske underviker att fokusera på få kritiska buggar för att istället fokusera på små, enkla obetydliga buggar. Vi är osäkra på vad man menar “Det är också viktigt att mäta på de nyckeltal som finns för tester och som är viktiga för företagets affär”. Floskler låter ju bra, men vad betyder det?
Det är svårt att inte ifrågasätta trovärdigheten i en rapport som är finansierad av två företag ett som lever på att sälja testtjänster och ett företag som säljer testverktyg. Finansiärerna av rapporten styr vilka frågor som ställs och hur frågorna formuleras, vilka egenintressen har dessa bolag i resultatet?
Men nog om detta och nu över till något betydligt roligare.
Nedan följer ett par citat från några av testvärldens pionjärer:
Citat från James Bach blog från oktober, 2010
Stockholm, the city where Rene Descartes spent his last days, and which now hands out Nobel prizes, is also now becoming a capital of Context-Driven testing thinking. The cool kid of the North. (Oh, why can’t your brothers Germany and Netherlands be more like you?)
-look to Sweden and see your future.
Citat från Michael Bolton blog från december, 2010
The other, significantly smaller—and, in general, younger—group that I observed at EuroSTAR sees testing as questioning, exploration, discovery, investigation, and learning—and quality assistance. Let’s call that group the Vanguard. The Vanguard realizes that getting the right answers is important, but asking the right questions is more important—and recognizing that today’s “right questions” today are probably different from yesterday’s “right questions” is more important still.
Det är flera svenskar som Michael nämner som medlemmar i The Vanguard på hans blog:
Martin Jansson, Henrik Emilsson, Rikard Edgren, Henrik Andersson, Fredrik Rydberg, Petter Mattsson och Ola Hyltén.
Vår bild av testsverige.
Vi känner stor aktivitet och inspiration inom den svenska test communityn. Det har verkligen tagit fart de senaste åren med många nya personer som engagerar sig och tillför viktig energi till vidareutvecklingen av test. Vidare är en handfull svenskar internationellt etablerade och respekterade för sina bidrag och engagemang inom test. Sverige driver framåt i rask takt och vi har ett bra rykte internationellt.
Några svenskar som vi anser värda att nämna då de ägnar stor del av sin fritid för att bidraga till att utveckla test i communityn är t.ex Henrik Emilsson, Rikard Edgren, Torbjörn Ryber, Simon Morley, Christin Wiedemann, Michael Albrecht, Johan Jonasson, Ola Hyltén, Bengt Augustsson, Jonas Hermansson, Sigge Birgisson, Henrik Andersson och Martin Jansson. Flera av dessa har egna bloggar där de delar med sig av sina erfarenheter till resten av världen. Många av ovan nämnda personer är även populära talare på internationella konferenser så som CAST (Nordamerika), EuroSTAR (Europa), StarWest (USA), Belgium Testing Days, STANZ (Nya Zeeland och Australien) och STEP-AUTO (Indien).
Peer konferenserna SWET 1,2 & 3 (läs blog här, här, här och här) har hållits i Sverige som är inspirerad av Los Altos Workshop on Software Testing (LAWST) instiftad av Cem Kaner. SWET har i sin tur inspirerat flera andra länder att starta upp egna Peer konferenser t.ex i Estland Belgien och Danmark.
Det är inte bara testare i Sverige som engagerar sig i sitt yrke. Flera svenska högskolor bedriver forskning inom test och det finns även ett antal olika yrkesutbildningar för testare i flera städer där man även har ett nära samarbetet med näringslivet.
Vi har ett aktivt föreningsliv inom testning så som SAST och dataföreningar. Nya lokala föreningar, nätverk, Testing Dojos och Development Dojos bildas ständigt. Det är bl.a. genom dessa nätverk som man sprider sin kunskap och håller sig ajour med det senaste inom testning. Flera svenskar börjar visa sin kompetens på t.ex Weekend testing och Weeknight testing.
Ett gäng svenska testare tog initiativet att på sin egen fritid arrangera Europas första konferens inom Kontext-Driven Test, Let´s Test i Stockholm nu i Maj. Denna konferens samlar talare och deltagare från hela världen här i Sverige. Aldrig tidigare har någon lyckats samla denna prominenta och respekterade skara testare i Europa och då är det Svenskar som med hjälp av sina nätverk och rykte gör detta.
Många företag är villiga att experimentera med nya metoder inom testning och är öppna för förändring. Det är också många svenska företag som länge legat i framkant inom agil metodik samt inom utforskande testning. Att vi testare i Sverige skulle vara gammalmodiga och inte våga prova nya idéer är i direkt motsatts till vår syn på testsverige. När vi är ute i olika verksamheter och träffar testare möter vi ofta inspirerade, skickliga och förändringsbenägna testare och organisationer, som är allt annat än gamla och trötta.
Det är olyckligt när någon generaliserar om testarens gammalmodighet. Kan det vara så att man baserar sina slutsatser på sig själv eller sin egen omgivning?
Det vi skriver i denna artikel är våra åsikter och vår uppfattning av test i Sverige. Denna bild är präglad av vår egen bias, är inte statistiskt säkerställd och på inget sätt någon sanning utan endast en annan, högst personlig, sida av myntet. Vad vi försöker visa är att det händer väldigt mycket bra saker inom test i Sverige som vi kan vara stolta över.
Vid tangentbordet,
Henrik Andersson och Martin Jansson
Hade inte läst artikeln på CS förrens nu och jag vet inte riktigt vad jag ska tro om rapporten så som den presenteras. Min erfarenhet om läget för testning i Sverige ligger bra mycket närmare det som Henrik och Martin beskriver i artikeln ovan.
Automatisering kan visserligen vara till stor hjälp och kan säkert utvecklas på många företag. Men t.ex. Ericsson där jag arbetade fram tills nyligen gick från hårt automatiserade testfall mot Exploratory testing då man helt enkelt inte nådde kvalitetsmålen för våran produkt trots en automatiseringsmiljö i världsklass.
Var som gör mig mer förvirrad är att på företaget jag sitter på nu (ett av de största företagen i Norden om inte det största) har vi en konsult från Sogeti som precis har hållit en presentation där hon har gått igenom fördelarna med att inte ha ett för stort fokus på automatisering och att skapa testfall utan istället använda ET (därmed inte sagt att automation inte skall användas då vi kommer tjäna mycket på en bra automation).
När jag läste artikeln hos CS kom jag direkt att tänka på James Bachs artikel “Test Automation Snake Oil”. Den var skriven 1999 men är väldigt relevant och jag rekommenderar varmt att man tar och läser den för att bättre förstå för och nackdelar när man utvecklar sin testning och automation.
Bra debattinlägg! Jag har svårt att ta denna “World Quality Report” på allvar, men det kan ju kanske bero på den verklighet jag själv lever i. Jag ser till att söka upp, omge mig med och utvecklas tillsammans med testare som vet mer än jag, och som driver mig själv framåt i förhoppning om att jag ska bli lika kunnig. Och det är jag inte ensam om. Precis som artikeln föreslår så ser jag fler och fler testare som har eller skapar sig ett inre driv och vilja att lära sig mer och söka upp kunskap, snarare än att vänta på att kunskapen ska komma drivandes mot dom eller att det ska räcka med att läsa in sig på en ordlista och några kontroversiella definitioner och sen klara en flervalsfrågesport för att bli “kvalificerad”.
Gammelmodigt är att sitta still och tro att allt ska fungera som det alltid gjort och att vi aldrig behöver lära oss något mer för att klara jobbet. Men jag ser mindre och mindre av det där jag befinner mig. Ett nytillkomet exempel är de idéella testnätverket EAST här i Linköpingsregionen där jag arbetar. Inom EAST träffas testare på friden över organisationsgränserna och delar med sig av sina erfarenheter utan att förvänta sig något annat i utbyte än en möjlighet att lära sig nya saker. Detta är inget nytt fenomen, men det är nytt här i regionen, och det är en lovande trend som vi ser över hela Europa!
De fåtalet testare som vidhåller en passiv inställning till testhantverket försvinner i alla snabbare takt från arbetslivet då deras jobb lätt kan outsourcas till låglöneländer (där de för eller senare också kommer att försvinna ifrån, då man inser det högst begränsade värdet av seg, tidskrävande checking och invalida metrics). Det påstådda problemet med gammelmodighet försvinner således snart av sig själv, om det ens finns där nu.
I korthet: Svenska testare är inte gammelmodiga i allmänhet. Tvärtom, i ett globalt perspektiv är vi väldigt väl respekterade och har jämförelsevis många “ledstjärnor per capita” som driver varandra och kunskapsutvecklingen i stort framåt.
Hej Henrik, tack för ett bra inlägg i en intressant debatt. Lite synd bara att bollen inte kommer retur från modparten. Jag håller på med en större analys av den svenska test marknad/bransch. Det gör jag på uppdrag av en internationell kund som har beställt en kartläggning av branschen. Jag tänkte därför dela med mig av lite reflektioner.
1) Där är cirka 8-10.000 personer som är verksamma inom test branshcen i Sverige. (Detta är en grov uppskattning)
2) Den svenska testmarknad och flera svenska testare nämns allt oftare i internationella medier, forums och bloggar.
3) Svenska testare tillhör eliten i Europa och ni anses som “cutting edge” och drivande i utvecklingen.
Ni som är aktiva på forumet här och jobbar inom branschen vet också vilken plats ni har internationellt, hur skulle det annars gå att locka hit den globala eliten inom test branshcen? Bra jobbat med Lets Test och lycka till.
Henrik Hansen
VD, Know2Grow
Kan TestZonen få del av slutanalyserna i kort form när du är färdig för publicering (t.ex. som en artikel)?
Det är absolut en möjlighet.Underlaget som jag jobbar med är bra många flera än de 22 personer som Sogeti har fått svar ifrån. Låt oss hålla kontakten. Mvh Henrik
Svar till Henrik Andersson
Capgemini/Sogeti/HP har tagit fram World Quality Report sedan 2008. Syftet med rapporten är att vara ett underlag avseende trender, förändringar och utmaningar inom test och kvalitetsäkring samt belysa specifika ämnen som bedöms intressant i förhållande till marknaden just då. För att ge exempel så var det 2010 fokus på Agil testning och 2011 var det lite extra fokus på frågeställningar runt molnet. Utöver de tekniska frågorna så belyser rapporten test och kvalitetsäkring ur geografiska perspektiv dvs specifikt för ett land eller en region.Vidare tar rapporten upp utveckling, mognadsgrad avseende test och kvalitetssäkring i olika branscher såsom finans, industri, telekom, etc.
Syftet är inte att vara en dikterande allena rådande sanning utan rapporten är ett inspel och underlag om vart branschen är på väg och/eller hur den är på väg att förändras. Om man vill bilda sig en uppfattning eller ta beslut utifrån denna information åligger givetvis individen.
Under 2010 och 2011 har vi till våra kontor i Stockholm, Oslo, Köpenhamn, Helsingfors, Göteborg, Lund, Malmö, Sundsvall och Gävle har vi bjudit in alla som vill lyssna och diskutera mer om denna rapport. Förutom de nordiska länderna har vi gjort samma roll-out i England, USA, Holland, Tyskland, Frankrike och Australien. Vi även genomfört intressanta round table-diskussioner med kunder där rapportens slutsatser har fungerat som underlag.
Rapporten uppmärksammades väl av både Computer Sweden samt CIO Sweden.
http://www.idg.se/2.1085/1.392380/cioer-eldar-for-krakorna
http://computersweden.idg.se/2.2683/1.394593/svenska-testare-gammalmodiga
Capgemini/Sogeti/HP kommer fortsätta att jobba med och publicera denna rapport. Vi är intresserade av konstruktiv feedback på denna 3-åring och hur vi kan göra det ännu bättre. Vi kommer att som föregående år köra en roadshow över land och rike 2012 och alla är förstås varmt välkomna. Vill man studera den senaste rapporten så hittar man den här: http://www.sogeti.se/Nyheter-Media/Pressrum/Arkiv1/Pressmeddelanden-2011/Nya-World-Quality-Report-fran-Sogeti-och-Capgemini-visar-att-molnet-/
Test i Sverige är idag relativt etablerat men fortfarande finns det en stor mängd företag och organisationer som ännu inte testar strukturerat. Med tanke på de många fördelarna, exempelvis sänkta kostnader, högre applikationskvalitet och snabbare time-to-market finns det mycket vi kan göra för våra kunder. Jag och många av mina kollegor har som roll och uppgift att sprida vikten och värdet av testning inom IT. Och vi är rätt så duktiga på test vilket vi också nyligen belönades för i analysföretaget Ovums globala ranking där vi tillsammans med vårt systerbolag Capgemini utsågs vara bäst på test (http://www.idg.se/2.1085/1.419878/capgemini-bast-i-test).Vi tar med med glädje, passion och stolthet på oss och bär denna hatt eftersom vi brinner för test. Ett exempel på detta är artikeln Computer Sweden publicerade i januari där Sogetis Fredrik Scheja var en av de citerade i ämnet (http://www.idg.se/2.1085/1.426822/gnallspikarna-blev-ett-yrke).
Mitt tips till Henrik Andersson, som ganska hårt kritiserat vår rapport och till och med mig som person; glöm inte att vi brinner för samma sak. Så skjut inte budbäraren utifrån tidningsrubriker satta av journalister eller rapporter baserade på enkäter gjorde med kunder över hela världen. Men bra att du är engagerad. Det har vi gemensamt.
Mattias Bergströmner
Hej Mattias,
Först, tack för att du står upp och skriver ett svar!
Jag finner det dock något förvånande, att när du nu bemödar dig att svara, ändå väljer att inte bemöta några av de konkreta punkterna som vi presenterar i artikeln eller för den sakens skull några av övriga personers kommentarer här i forumet.
När jag läser igenom artikeln jag och Martin skrivit så ser jag inte att våra kommentarer varit personangrepp, utan i första hand fokuserat på rapportens uppbyggnad, innehåll och slutsatser.
Att försöka få er ”World Quality Report” att framstå som anspråkslös eller ”bara ett underlag” rimmar väl väldigt dåligt med hur ni profilerar detta? Hör bara på namnet ”World Quality Report”! Sen som du själv skriver så kör ni en stenhård road show för att sprida budskapet och ni uttalar er i både media och på konferenser. Kom inte och påstå att detta är bara ett litet underlag i debatten. Ni kör ut detta med propaganda-liknade metoder och ni styrker era intressen och åsikter med en rapport som i grunden är både oneutral och vilseledande då den är utformad för att underbygga ert budskap (hur detta är gjort tog jag upp i artikeln).
Ett tydligt bevis för detta är denna mening som jag klipper in från länken du hänvisar till. ”Slutligen visar rapporten på behovet av att standardisera kvalitetssäkring med hjälp av erkända metoder såsom TMap®4, framtagen av Sogeti och spridd inom hela Capgeminigruppen.”
Är det inte väldigt bekvämt att just Sogetis egen metod är lösningen på världens alla kvalitetsproblem? Förklara gärna hur läsaren hur ni på ett objektivt, statistiskt säkerställt och etiskt försvarbart sätt kom fram till den slutsatsen som en motvikt till mitt påstående att denna rapport är framtagen i enda syfte som ren och skär marknadsföring?
Hela upplägget och ert användande av denna rapport är falsk propaganda och ni är ute efter att vilseleda publiken för att kunna sälja mer av era tjänster.
Att sen avsäga sig ansvar genom att säga som du gör att det är upp till individen att bilda sig en uppfattning om budskapets riktighet är ju direkt omoraliskt.
Det är som att säga att en “sol och vårare” inte har någon skuld I att denne lurar personer på allt de har och äger. Det är ju upp till de lurade att bedöma om riktigheten.
Ni har ansvar för ert budskap och riktigheten I det! Att ni som du skriver kommer att fortsätta att föra ut budskapet om att vi ligger efter gör er bara till ännu större dyngspridare än vad ni redan är. Hur vore det om ni istället engagerade er och jobbade aktivt för att skapa och lyfta fram positiva händelser.
Grattis till att ni enligt Ovums kriterier rankas högst med er outsourcing. Det har inte så mycket med er “World Quality Report” att göra och det får mig mest att undra hur det känns för alla era konsulter i Europa att veta att de i Indien som kostar en tredjedel är bättre.
Intressant att de artiklar du hänvisar till alla kommer från IDG. Undra vad det kan bero på? Alla har ju sina kelgrisar.
Lyckligtvis lever vi I ett samhälle där budbäraren vanligtvis inte är tvingad till att leverera ett budskap. Detta innebär att “don’t shoot the messenger” inte riktigt är applicerbart. Du har levererat ett budskap som har kommit i tryck. Nu vill jag bara förvarna att det blir lite personligt men det är som svar till dig som person är budbäraren.
Det finns i min mening två alternativa anledningar till att du valt att leverera ditt budskap på det här viset:
1. Du står bakom budskapet och känner att du vill representera detta då detta är innanför dina ramar för integritet och etik.
2. Du har ingen ståndpunkt utan tar bara det som någon sagt till dig att säga och levererar det budskapet.
Ingen av dessa anledningar är särskilt smickrande men viktigare är att de fråntar dig inte något ansvar för det budskap du levererar. Som sagt jag utgår från att ingen tvingat dig till detta (om så är fallet är det en helt annan sak).
En väldigt viktig del i främjande av fritt tänkande är att man har rätt att bemöta propaganda och ställa den som förmedlar budskapet till svars för innehållet. I detta fall råkar det vara just du.
Låt gå för att vi båda är engagerade. Men nej, vi brinner verkligen inte för samma saker. Jag tror inte ens att vi tangerar varandra.
Hej
Som jag och Henrik skrev i svaret artikeln så tycker vi ju som sagt att Svenska testare inte är gammalmodiga. För att stimulera till ett bättre testsverige samt för att sprida passion och attraktion till testyrket, så tror vi det är fel metod som Mattias på Sogeti förespråkar. Om vi vill att det ska bli fler testare i Sverige och att vi som ett yrke ses som professionella så måste vi ju också bete oss på ett sådant sätt. Och varför inte börja med hur vi skriver artiklar i tidningar så som Computer Sweden?
Så styr om ert fokus, Mattias, från att trycka ner testare och från mirakelmedicin-koncept.
Mvh,
Martin
Senast sedan 90-talet, när en svensk testare utförde ett älgtest på en A-Klasse bil som tyska testare på Mercedes hade missat, räknas svenska testare som bland de bästa i världen. Jag, som är tysk, är stolt över att jag får tillhöra den exklusiva skaran av svenska testare. Och jag har följt utvecklingen av test i Tyskland och kan tala om för er att man på testområdet fortfarande halkar efter Sverige.