Undersökningen Krav och Test Sverige 2010

Inledning

Att något har hänt inom kravhantering och test under de senaste åren i Sverige är vi många som har märkt. Vi är idag många som sysslar med realisering av verksamhetsbehov i form av IT-lösningar, med strävan efter leverans som ger förväntad effekt till verksamheten. I det arbetet märker vi att det pågår en utveckling och en mognad inom dessa områden. Men går utvecklingen åt rätt håll? Till vilken nytta? Till vilket pris? Vad har vi i Sverige som verklighetsbaserat referensramverk i våra satsningar? Vad använder vi som underlag och struktur i vår vägledning och målsättning i vårt krav- och testarbete? Syftet med denna artikel är att presentera den undersökning som Konsultbolag1 nyligen har genomfört om krav- och testarbetet i Sverige. Med undersökningen och några initiala slutsatser som ett sätt att besvara frågorna ovan, vill vi driva utvecklingen inom krav- och testarbete vidare framåt.

Bakgrund

Syfte

Undersökningen har tagits fram efter att Konsultbolag1 beslutat sig för att ta ett tydligare grepp på utvecklingen inom krav- och testarbete i Sverige. Undersökningens två huvudsyften är att ta fram verklighetsbaserat underlag som stödjer och ger bättre struktur till:

  1. Företagens behovsanalys och identifiering av nästa steg gällande satsningar inom kravhantering och test
  2. Konsultbolag1s förmåga att driva utvecklingen inom, och dialogen kring, kravhantering och test i Sverige

Genomförande och målgrupper

Undersökning Krav och Test Sverige 2010 genomfördes av Konsultbolag1 och IDG i slutet av 2009 och början av 2010. Vi anlitade IDG för att komplettera vår branscherfarenhet inom kravhantering och test med deras expertis gällande formulering, struktur och genomförande av IT-relaterade undersökningar. IDG står för de deltagande företagens och individernas anonymitet. Konsultbolag1 får svaren med företag och individer avidentifierade. Det företag som önskar personlig genomgång av sitt resultat hanteras konfidentiellt mellan företaget, IDG och Konsultbolag1.

Undersökningens huvudmålgrupp består av beslutsfattare med övergripande ansvar för kravhantering och test i IT-intensiva företag. Beslutsfattare från 95 organisationer som representerar 88 företag identifierades och kontaktades av Konsultbolag1 och IDG på förhand för att säkerställa deras intresse att svara på undersökningen.

Därutöver tillkom 200 intresserade som fick utgöra en referensgrupp som genom besök på Konsultbolag1s och IDGs hemsidor också fick svara på undersökningen. Referensgruppen består till mestadels av personer som arbetar med krav och test dagligen i IT-projekt och förvaltning, till exempel projektledare, systemförvaltare, testare, kravhanterare och utvecklare.

Undersökningens struktur

Konsultbolag1s samtliga medarbetare deltog i arbetet att ta fram framgångsfaktorer inom kravhantering och test. Framgångsfaktorerna speglar därmed samlade erfarenheter från hundratals svenska företag över de senaste 10 åren. Undersökningens innehåll summerar och täcker dessa framgångsfaktorer i form av 45 frågor. Frågorna ställdes i form av påstående för att förankra undersökningens innehåll hos beslutsfattarna och betona deras eget engagemang och bedömning över externa betraktelser eller mätningar.

Exempel på ett påstående:

För att säkra en lyckad leverans använder vi nyckeltal för att avgöra när ett system är leveransklart.
(Svarsalternativ: Aldrig, Sällan, Oftast, Alltid, Vet ej)

Förväntade resultat

Innan Konsultbolag1 påbörjade arbetet med framtagningen av själva undersökningen föreställde vi oss att resultatet skulle illustrera följande:

  • Sverige skulle sakna verktyg och styrning för att veta att man gör rätt satsningar
  • Det skulle finnas en stor spridning i mognadsgrad inom kravhantering och test mellan de olika svenska företagen
  • Det skulle finnas en mycket större mognadsgrad inom test än inom krav

Analys

I vår analys av undersökningens resultat har vi kvantifierat de svenska företagens mognadsgrad inom kravhantering respektive inom test gentemot en 100-gradig skala. Ett svar med ”Alltid” motsvarar 99 på skalan, ”Oftast” motsvarar 66 och så vidare till svaret ”Aldrig” som motsvarar 0 poäng. Skalan är enkel och underlättar kartläggning och jämförelse av resultatet. Genom att dela ut poäng till enskilda företag för sina svar på varje påstående kan vi bland annat presentera en genomsnittlig mognadsgrad för varje företag inom såväl kravhantering som test. Dessutom kan vi visa en genomsnittlig mognadsgrad för undersökningens olika målgrupper och för Sverige.

Resultat och slutsatser

Grafen nedan visar resultatet av krav- och testmognaden i Sverige baserad på deltagarnas egen uppfattning. Varje punkt representerar ett företags genomsnittliga mognad på en 100-gradig skala inom kravhantering och test.

UKTS2010-01

När vi betraktade resultatet överraskades vi en del. Sverige uppskattar sig vara mer moget inom krav och test än förväntat. Sveriges mognadsgrad inom test är lite större men inte mycket större än mognadsgraden inom kravhantering. Beslutsfattarna är mer optimistiska än referensgruppen vilket kan förklaras av det faktum att referensgruppen sitter i den operativa verksamheten. Spridningen i mognadsgrad mellan företag är inte lika stor som vi förväntade oss. Där finns till och med ett mönster, ett direkt förhållande mellan mognadsgrad inom krav och mognadsgrad inom test!

Grafen ovan visar resultatet för både beslutsfattare i huvudmålgruppen och svarande i referensgruppen. De slutsatserna som följer nedan baseras framförallt på huvudmålgruppens svar, utom för den sista slutsatsen där vi jämför huvudmålgruppens uppfattning med referensgruppens.

Slutsats 1: Sverige mognar inom kravhantering och test, men med lite styrning

Resultatet visar tydligt att många företag utför sitt krav- och testarbete i enlighet med flera av undersökningens framgångsfaktorer. Sverige satsar på kravhantering och test i form av aktiviteter och ansvariga roller, men kostnadsmedvetenheten och den övergripande styrningen av krav- och testarbetet är däremot relativt lågt, vilket illustreras i grafen nedan.

UKTS2010-02

Grafen visar resultatet inom kravhantering. Vi kan dra en liknande slutsats även för test (se grafen nedan kopplad till Slutsats 2).

Det innebär att det finns stor potential för svenska företag att få ut ännu mer av sina satsningar genom att bli mer kostnadsmedvetna och genom att bedriva arbetet utifrån en övergripande strategi.

Slutsats 2: Sverige är mer moget inom test än inom kravhantering, men mognadsutveckling inom kravhantering och test hänger tätt ihop

Grafen nedan visar ett urval av undersökningens framgångsfaktorer som illustrerar en trend – nämligen att Sveriges beslutsfattare uppskattar sig vara något mer mogna inom test än de är inom kravhantering.

UKTS2010-03

Observationen om högre mognadsgrad inom test än inom kravhantering är i sig själv mest en bekräftelse av vad många ser som en självklarhet. Test är enklare att satsa på. Test är mer standardiserat. Många företag började satsa på test långt innan motsvarande satsningar på kravhantering gjordes. Även om det krävs kunskap och erfarenhet för att vara bra på test är det relativt intuitivt att komma igång och åtminstone hitta något fel eller förbättringsförslag så länge man har tillgång till systemet och tid att testa. Men för att kravarbetet ska ge resultat krävs i mycket större utsträckning kommunikation mellan verksamhet och IT, mellan beställare och leverantör, och dessvärre även internt mellan olika avdelningar. Det som är positivt överraskande med undersökningens resultat är att det framgår ett tydligt mönster, nämligen ett tydligt förhållande mellan mognadsutvecklingen inom kravhantering och test. Det finns väldigt få företag vilkas mognadsgrad inom test är mycket större än mognadsgraden inom kravhantering, och vice versa.

UKTS2010-04

Den svarta linjen som syns i diagrammet ovan är en matematisk trendlinje som tar hänsyn till samtliga svarspunkter. Med sin nästan 45-gradiga lutning framträder tydligt ett ”ett-till-ett”-förhållande mellan mognadsutveckling inom kravhantering och mognadsutveckling inom test, om än med lite dragning åt testhållet.

Konsultbolag1 har sedan ett tag tillbaka kompletterat vår tidigare slogan ”Nästan rätt är också fel” mot en nyare, mer insiktsful slogan som lyder ”Krav och test är två sidor av samma mynt”. Med hjälp av mönstret som syns i undersökningens resultat ovan kan man bekräfta att det är svårt att räkna hem investeringen i test utan att göra en motsvarande investering i kravhantering, och vice versa. Som Frank Sinatra sjöng 1955 i låten ”Love and Marriage” (temalåt till 80- och 90-talets TV-serie ”Våra värsta år”): ”You can’t have one without the other!”.

Slutsats 3: Sverige genomför mycket regressionstester vid förvaltningsåtgärder, men ofta utan dokumenterad påverkansanalys

När vi har kravställt, utvecklat, testat, hittat fel, rättat och testat om igen kvarstår en viktig och ofta tidskrävande aktivitet, nämligen regressionstester. Regressionstester är till för att säkerställa att vi inte har påverkat någonting i en systemdel vid rättning eller nyutveckling i en annan systemdel. Mer korrekt uttryckt är regressionstest till för att hitta de fel som vi utifrån tidigare erfarenheter förväntar oss uppstår i andra, tidigare fungerande systemdelar. Det är inte så konstigt att Sverige idag ägnar mycket tid och resurser åt genomförandet av regressionstester, framförallt i förvaltningssammanhang. Många förvaltningar lider ofta av brister i systemdokumentationen. Dessutom har många företag idag komplexa ”systemparker” som medför svårigheter att bedöma sambanden mellan olika system och systemdelar. Därmed ökar behovet av regressionstest för att minska risken att oförväntade och allvarliga fel uppstår i produktion. Men hur mycket måste vi regressionstesta? Vid förvaltningsåtgärder är det genom påverkansanalys som vi kan göra en vettig bedömning av regressionstesternas omfattning. En påverkansanalys är en bedömning av en systemförändrings möjliga omfattning och påverkan på andra systemdelar i form av en strukturerad analys av utvecklingsdokumentation, testdokumentation och annan systemdokumentation. Ju större brister vi har i vårt dokumenterade underlag för påverkansanalys, desto mer osäkra blir vi. För att minska risken för oupptäckta fel i produktion genomför vi därför ofta för mycket regressionstester. Grafen nedan ger en indikation av hur mycket regressionstest som genomförs idag i förvaltning gentemot hur lite dokumenterad påverkansanalys som förekommer.

UKTS2010-05

Om vi satsar på att dokumentera våra befintliga system, exempelvis i form av testfall och krav på rimliga nivåer samt spårbarhet däremellan, kan vi underlätta påverkansanalys, minska omfattningen av regressionstester samt enklare genomföra de regressionstester som krävs eftersom testfallen då skulle finnas.

Slutsats 4: De mogna företagen satsar en avsevärt större andel av sin projektbudget på kravhantering och test än övriga

I våra kontakter med företag i Sverige får vi ofta frågor som handlar om hur mycket av projekt- eller förvaltningsbudget som bör fördelas på kravhantering, test respektive utveckling. Svaret beror på en mängd olika faktorer men genom undersökningen har vi nu ett benchmark (en referens) som utgångspunkt. Här följer frågan som den ser ut i undersökningen:

Så här fördelar sig kostnaderna i ett typiskt projekt hos oss, procentuellt mellan kravhantering, utveckling och test:
(Svarsalternativ 0%, 10% , 20%, 30%, …, 90%, 100% där summan av de tre områden blir 100%)

Graferna nedan visar att de mer mogna företagen satsar i genomsnitt 55 % av en typisk projektbudget på kravhantering och test sammanlagt och de mindre mogna företagen satsar 36 %. Skillnaden är nästan 20 %! Undersökningen gör ingen direkt mätning av vilken kategori av företag som är mest framgångsrika på att leverera IT-nytta till verksamheten. Det vi ser är att de företag som utför sitt krav- och testarbete i enlighet med framgångsfaktorerna också satsar betydligt större budgetandel i projekt på just kravhantering och test.

Enligt vår samlade erfarenhet tror vi att framgångsfaktorerna både reflekterar och leder till ett mer framgångsrikt krav- och testarbete. Indirekt kan vi då dra en vidare slutsats att de företag som idag satsar en större budgetandel på kravhantering och test också är mer framgångrika i sina IT-leveranser!

UKTS2010-06

Slutsats 5: Referensgruppen uppfattar Sverige som mindre moget inom kravhantering och test, än vad beslutsfattarna gör

Diagrammet nedan visar att beslutsfattarna är något mer optimistiska i sin bedömning av egen mognadsgrad inom både kravhantering och test jämfört med referensgruppen. Referensgruppen består av personer som jobbar dagligen med de verkliga utmaningarna inom krav- och testarbetet.

UKTS2010-07

Summering

Avslutingsvis tänkte vi återkoppla till några av artikelns inledande frågor avseende Sveriges mognadsresa inom kravhantering och test:

Går utvecklingen åt rätt håll?

Absolut! Även om det finns gott om ytterligare förbättringsmöjligheter. En bra följdfråga är vilken ambitionsnivå som är ”good enough”? Svaret skiljer sig från företag till företag. Som en början kan man göra en egen analys och en egen bedömning av ambitionsnivån utifrån egna prioriteringar. Företag som svarar på denna undersökning kan exempelvis använda resultatet både som en referenspunkt gentemot andra svenska företag och som underlag till sin egen målsättning inom kravhantering och test.

Till vilken nytta? Till vilket pris?

Många svenska företag har inte riktigt kontroll på sina investeringar inom kravhantering och test. Företagen saknar ofta tydliga målsättningar och mätningar gällande nivån på satsningen och det förväntade resultatet av krav- och testarbetet. Undersökningen visar på ett tydligt behov av beslutsunderlag för bättre kontroll av satsningar inom kravhantering och test. Ett användbart beslutsunderlag är styrtal eller mätetal som komplement till en väl utarbetad strategi.

Vad har vi i Sverige som verklighetsbaserad referensramverk i våra satsningar?

Undersökningen Krav och Test Sverige 2010 är en början. Tanken med undersökningen är att driva både utvecklingen och en dialog kring utvecklingen framåt.

Nästa steg

Undersökningens innehåll, struktur och resultat används av Konsultbolag1 i vår dialog med svenska företag om deras utmaningar, prioriteringar och eventuella lösningar inom kravhantering och test. I Konsultbolag1s kontakt med beslutsfattare som ingår i huvudmålgruppen ser vi redan nu ett tydligare fokus på vissa områden, som ett resultat av undersökningens slutsatser. Några exempel på områden som har fått mer uppmärksamhet är övergripande styrning, målsättning, tydligare ansvarsfördelning och mer strukturerat förvaltningsarbete. De företag som svarade i huvudmålgruppen får möjlighet att beställa en identifiering och genomgång av deras resultat. Genomgången fungerar som en nulägesanalys och referenspunkt samt kartläggning av vidare satsningar inom kravhantering och test. Företagen som inte var med och svarade på undersökningen från början har också möjlighet att svara i efterhand och få en nulägesanalys genom att ta kontakt med Konsultbolag1.

About Chris Hofstetter

Chris Hofstetter
Konsultbolag1

Chris Hofstetter har 15 års erfarenhet som konsult inom upphandling, kravhantering och test av IT-system både i Sverige och USA. Han är ansvarig för fokusområdet utbildning och jobbar som föreläsare, utbildare, konferensmoderator, debattör och evangelist inom kravhantering och test på Konsultbolaget1.