Testzonens läsare kanske minns att Magnus C. Ohlsson publicerade en artikel förra året som hette ”En inrutad vardag eller nya möjligheter”? I den berättade han om arbetet med att ta fram den nya standarden för mjukvarutestning ISO/IEC/IEEE 29119 och vad den standarden kan komma att innebära för alla som arbetar med test.
Artikeln satte igång en lång diskussion i kommentarsfältet och det blev tydligt att det finns ett motstånd mot standarden, både mot dess syfte och mot dess innehåll.
Detta motstånd aktualiserades på nytt under årets CAST-konferens när en testare vid namn James Christie höll ett anförande med titeln ”Standards – promoting quality or restricting competition?”. Som ett resultat av de diskussioner som uppstod efteråt formades ett organiserat motstånd och en namninsamling mot ISO 29119.
Kritiken mot standarden kan delas in i följande frågeställningar:
- Vad är syftet med denna standard?
- Blir testningen bättre om man följer standarden?
- Kan testning standardiseras överhuvudtaget?
1. Förespråkarna av standarden menar att den ger vilken organisation som helst ett internationellt erkänt och högkvalitativt angreppssätt vad gäller test. Kritikerna menar att standarden inte reflekterar de olika sätt att testa som testare runt om i världen funnit användbara och att huvudsyftet med standarden är att skapa en marknad för konsultationstjänster och certifieringar. Cem Kaner skriver i sin blogg att standarder som rör mjukvaruutveckling i huvudsak är politiska instrument som skapas för att tjäna en relativt lite grupps intressen.
2. Standarden påbörjades i maj 2007 och tre av fem delar har än så länge publicerats. Standardens förespråkare menar som sagt att dess implementation höjer kvaliteten på testningen var den än utförs. Detta påstående ifrågasätts eftersom det inte tycks finnas några dokumenterade fall där standarden faktiskt har använts med framgång i riktiga projekt. Många menar att all dokumentation gör att det blir mindre testning gjort och att standarden saknar den flexibilitet som testningsverkligheten oftast kräver. Testning blir dyrare helt enkelt.
3. Ett standardiserat ramverk för test som dikterar processer och dokumentation riskerar att hämma testyrkets utveckling och mognad. Det rimmar också illa med det agila tänket och det agila manifestet. Om standarden blir den ledstång som alla testare förväntas hålla i så kommer test knappast längre kunna vara en kreativ syssla som kräver lärande och nyfikenhet. Testning glider mot ett lågstatusyrke som vem som helst kan utföra. Risken är att yrkesskickligheten blir begraven i pappersexcercisen.
På hemsidan för International Society for Software Testing finns länkar till sådant som rör motståndet mot ISO 29119. Tyvärr så är det inte lätt att hitta information och argumentation från förespråkarna av standarden. Se dock till att informera dig och ta ställning innan någon annan gör det åt dig!
Hej David,
jag är inte expert på test och har heller inte tagit del av standarden men jag är lite förvånad över att den här frågan förefaller väcka så starka känslor. Standardisering är ett naturligt steg när ett område mognar och det är för mig inte alldeles uppenbart varför just test skulle vara ett undantag. Om se’n standarden är bra, det är en annan fråga. Om den inte accepteras och tillför mervärde så blir den nog inte särskilt långlivad, tänker jag. Vad tror du?
–per
Jag stämmer in i Davids kommentar. Testning är en väldigt dynamisk disciplin och svårt, för att inte säga omöjlig, att standardisera. Det vore dessutom olämpligt att försöka standardisera en så pass ung disciplin som fortfarande utvecklas i ett hälsosamt tempo. Det ISO 29119 föreslår skulle dessutom sätta oss över 20 år tillbaka i tiden vad gäller metodologi och processtänk. Vi vill framåt, inte bakåt.
Jag hoppas du har rätt i att den inte blir långlivad om den inte accepteras. Frågan är bara, accepteras eller inte av vem? Jag är rädd att statliga myndigheter och stora företag som inte vet bättre kommer att se ISO-stämpeln som en kvalitetsgaranti och välja att göra standarden tvingande framför att tänka själv och anpassa sitt arbetssätt till vad som funkar bäst för dem själva.
Jag är inte först med att säga det, men det är en bra jämförlse: Vart finns ISO-standarden för hur man bör programmera? När vi kommit på ett sätt att standardisera programmering så kan vi börja fundera på om testning är moget för detsamma.
Hej Per!
Ett av de främsta argumenten enligt mig mot standarden är att test av mjukvara är en komplex och föränderlig aktivitet och är därför helt enkelt inte något som lämpar sig för standardisering. Precis som design och formgivning till exempel inte heller är aktiviteter lämpliga att standardisera. Ett annat viktigt argument är att standarden snarare än att vara framtagen som ett hjälpmedel för att höja kvaliteten på test är ett sätt ta kontroll över testverksamheten, se Cem Kaners blogg:
http://context-driven-testing.com/?p=91
Jag skulle vilja se standarden testad i riktiga projekt innan den lanseras i full skala. Då blir det lättare att utvärdera dess påstådda mervärden. Jag hoppas och tror att standarden inte blir långlivad eftersom den lovar att leverera något som inte verkar rimligt – “a high-quality approach to testing…that can be used within any software development life cycle or organisation”.
Passar på att informera om att det inom kort kommer att publiceras ett dokument på http://softwaretestingstandard.org/ där Stuart Reid bemöter ovanstående frågeställningar och några till inklusive referens till en studie som har gjorts på projekt där standarden har använts.
Hej Magnus!
Stuart Reid publicerade ett svar den 8:e september. Det var dagen före jag skickade in min artikel och jag hade vid inskickandet inte hunnit uppmärksamma det, annars hade jag bifogat länken:
http://www.softwaretestingstandard.org/29119petitionresponse.php
Är det så att Stuart nu planerar att publicera ett nytt svar inom kort?
ISST svarade Stuarts första svar med ett öppet brev till ISO:
http://www.commonsensetesting.org/stop29119/OpenLetter/
Hade själv inte uppmärksammat att Stuarts svar var publicerat men det var just detta svar jag hade i åtanke. Om han avser svara på ISSTs respons har jag ingen information om.