Crowd testing, vad är det?

Crowd testing

Crowd testing är ett begrepp som jag läser om lite då och då. Jag har inte arbetat med crowd testing i praktiken men gillar tanken, mest för att jag tycker om kreativa och annorlunda idéer.

Jag ska försöka nysta upp lite föredelar och nackdelar som jag hittat med crowd testing i detta inlägg.  Så får ni själva skapa er en uppfattning om det är något som kommer användas framöver.

Vad är Crowd testing?

Crowd testers är en grupp med testare som finns tillgängliga virtuellt. Oftast består det av en community men det finns även företag som hyr ut Crowd testare och där kan testarna som är anmälda få ersättningar för sitt arbete. De olika organisationer som hur ut crowd testare som jag undersökt ger ingen astronomisk ersättning för arbetet, men det finns självklart andra fördelar med att vara en medlem.

• Det ger variation i det dagliga arbetet
• Du får en möjlighet att samarbeta med andra testare på olika geografiska platser
• Du får blir medlem i en community där alla har intresse av att testa mjukvara
• Du kan som testare sitta hemma och utföra ditt arbete när tiden passar dig
• Det är ett bra sätt att samla på sig erfarenhet om du är junior testare

Projekt eller organisationer som har behov kan snabbt hyra testare under båda kortare och längre perioder, det behövs inga konsultmäklare, kontraktsförhandlingar eller praktiska saker som skrivbord och larmkoder för att få något testat.

Det går även att målanpassa testarna efter olika användningsområden. Du kanske behöver testare som har en viss teknisk bakgrund eller har arbetat med ett specifikt system eller så är du kanske ute efter en specifik användargrupp.

Jag tror nog att crowd testing ska ses som ett komplement till ”traditionella” testprocesser, vilka det nu är:) och allt är ju komplement på något sätt. Planera gärna in crowd testning i er testplan, precis som man bör planera in utforskande test, partestning och andra intressanta varianter på testning för att få en chans att analysera produkten från olika synviklar. En bra testplan innehåller kreativa och ”out of the box” lösningar för att uppnå lyckat resultat.

När kan man använda crowd testing?

Specifika scenarior där man kan kontrollera vad som ska testas. Webbapplikationer, appar och andra funktioner som är tillgängliga över internet skulle kunna gå att testa med hjälp av denna metod.

Prestanda tester, saknar man bra prestanda tester kan man använda crowd testing som en metod att undersöka systemet.

Acceptanstester, crowd testing skulle kunna användas vid acceptanstester. User storys delas ut till testarna som sedan kan testa av flödet. Genom att använda denna metod undviker du klassiska fällor som perceptual blindness som jag kommer skriva mer om i ett senare inlägg.

SBTM + Crowd testing = great?

Exempelvis skulle man kunna kombinera SBTM test charters och utforskande test med crowd testing. Det vill säga att man i förväg planerar in olika charters som testarna kan använda som checklista under sina tester. Sedan time boxar man tiden som det går att testa till två timmar per gång. 

Sociala medier

Använd sociala medier som kontaktyta under testerna. Även en debriefing session efter testerna skulle kunna vara praktiskt.

Svårigheter med Crowd testing

Så klar finns det svårigheter och nackdelar med crowd testing, men det gör det med alla metoder.

Det kan vara problematiskt att hitta en bra crowd testing grupp, vilka parametrar ska man använda.

Tekniska begränsningar, vissa saker blir svårt att testa då det krävs avancerade testmiljöer som måste vara tillgängliga för testarna.

Hantera defekter. Hur administrerar och hanterar man alla defekter som kommer in, vilket verktyg ska man använda? Svåra frågor men inget ovanligt, alla har vi varit med om dubbletter och rapporterade defekter som inte ÄR defekter.

Hur säkerställer vi kvalitén på testerna? Väldigt svårt men inte heller något unikt för crowd testing. Det handlar om att definiera vad som förväntas av metoden. Varför inte använda den som en sanity check innan release.

Hur vet vi att testarna faktiskt gör sitt jobb? Bra fråga, men hur vet du att testarna faktiskt gör sitt jobb annars, står ni och hänger över axeln hela dagen?

Säkerhets problem, visst kan det finnas säkerhetsproblem med att öppna brandväggar osv. Men fokusera då istället på andra funktioner som går att lägga ut i molnet för att testas.

Ja som ni ser finns det många fördelar och nackdelar med metoden och jag orkar helt ärligt inte skriva upp flera J.

/Jagge