Testzonen ställde en fråga på Linkedin forumet om vilka verktyg som var att föredra inom test. Det kom in många intressanta kommentarer och tips. Vi har valt att ta upp vilka verktyg som togs upp, sortera kommenterarna och försöka få ut någon sammanställning som skulle kunna vara intressant som artikel. Kom ihåg att detta inte är någon vetenskaplig artikel utan endast en sammanställning av diskussioner runt ämnet testverktyg. Dock inte mindre intressant för det.

Kommentarerna är citat från Linkedin diskussionen så det kan kännas tagna ur sitt samanhang. Vill man följa diskussionen besök då Testzonens Linkedin grupp.

Introduktion

”Vilken verktyg används är helt beroende av behovet. Det kan finnas och det faktiskt finns invecklade och dyra verktyg som täcker olika behov men jag förespråkar att i första hand ta de som kan vara freeware eller open source eller de som kommer med själva OS som t.ex. i Windows”. – Jaime G

”I min erfarenhet funkar alla verktyg fullt ut endast om man kopplar ihop krav, test och utveckling. I övrigt är verktygen beroende av syftet. Vill man mäta test i utvecklingsprojekt utifrån krav eller förvaltningsprojekt utifrån buggar…? Kort sagt, man bör anpassa vilket verktyg man använder utifrån vilket behov man har och inte försöka anpassa ett visst verktyg till det arbetssätt man använder.” – Elin S

Verktyg och kommentarer

ApTest

Innovative software testing solutions – tools and services for automated and manual testing of application software, Web sites, middleware, and system software. Källa: Wikipedia

Länk till ApTest

Kommentarer om ApTest

”Jag gillade ApTest. Billigt och kraftfullt. Funkar grymt bra om man fokuserar på enrads-testidéer och checkar. Jag skrev en review på det för några år sedan, vet inte hur det ser ut idag. Prislappen är ett par 0:or färre än de stora och som jag ser det fokuserat på kraftfull manuelltestning. När jag köpte det så betalade jag runt 10000 för flera licenser, samtidigt ville HP sälja på mig testverktyg för 1 miljon för samma antal licenser.” – Martin J

AutoIT

“AutoIt (pronounced aw-tow-it)[2] is a freeware automation language for Microsoft Windows. In its earliest release, the software was primarily intended to create automation scripts (sometimes called macros) for Microsoft Windows programs[3] but has since grown to include enhancements in both programming language design and overall functionality” Källa Wikipedia

Kommentarer om AutoIT

”För lättare automatiserings uppgifter är Auto IT överlägsen” – Jaime G

Länk till AutoIT

Bugzilla

“Bugzilla is a Web-based general-purpose bugtracker and testing tool originally developed and used by the Mozilla project, and licensedunder the Mozilla Public License. Released as open source software by Netscape Communications in 1998, it has been adopted by a variety of organizations for use as a bug tracking system for both free and open source software and proprietary projects and products” – Källa: Wikipedia

Kommentar om Bugzilla

”Med Bugzilla kan man klara sig bra” – Jaime G

Länk till Bugzilla

Excel och Word

“Microsoft Excel is a commercial spreadsheet application written and distributed by Microsoft for Microsoft Windows and Mac OS X. It features calculation, graphing tools, pivot tables, and a macro programming language called Visual Basic for Applications. It has been a very widely applied spreadsheet for these platforms, especially since version 5 in 1993, and it has almost completely replaced Lotus 1-2-3 as the industry standard for spreadsheets. Excel forms part of Microsoft Office. The current versions are 2010 for Microsoft Windows and 2011 for Mac OS X” Källa: Wikipedia

Jag måste erkänna att jag ofta använder Excel i arbetet. Och faktum är att jag anser att det är få verktyg som är lika kraftfulla som Excel. Att lära sig Excel ”då menar jag lite mer avancerat” är väldigt bra. Det kanske är tråkigt och farligt om alla har egna Excel dokument liggande på olika platser.

Kommentar om Excel och Word

”Men när det gäller just defekter så kan jag lika väl tänka mig att använda Excel då det går att få in det mest även där! Däremot skulle jag inte längre kunna tänka mig att använda Word/Excel för att skriva testfall. Då har jag hellre ett verktyg liknande QC” – Maria K

”För planering är Excel en utmärk redskap, för att dokumentera testet kan vi inte glömma nånting som enkel som Notepad. För att genomföra en brainstorm och diskutera test idéer finns olika Mind Mapping verktyg, flera av dem gratis, t.ex. XMind eller Mindomo” – Jaime G

”I mindre projekt och uppdrag klarar man sig bra med Excel och Word” – Behiya K

”Jobbar man med testplanering, testuppföljning, testrapportering är det alltid bra att kunna Excel. Matriser, attribut, sortering, skapa Pivot-tabeller, grafer. Det säger därför att “riktiga ” testverktyg alltid har en exportfunktion till Excel när verktygets egen rapportfunktion inte räcker till.
Som konsult får man arbeta med det verktyg som finns hon kunden. Ibland blir det Excel” – Leif B

Egna verktyg/kombinerade verktyg

Egna verktyg är ju aldrig fel.  Förstår Stefans tanke, att man kombinerar och skapar det verktyg som passar situationen. Många gör nog fel och fokuserar för mycket på att hitta ett verktyg och tvingar sedan in arbetsprocessen i verktyget.

”Vi använder både QC, ReQtest, Excel/Word samt egenutvecklat verktyg i Lotus Notes, allt beroende på projekt o uppdrag. Kan säga att jag är mest nöjd med QC – där finns liksom allt 🙂 Håller dock med Jasmine ang QC – att det är ett (onödigt) dyrt verktyg. Lite omständigt också när man ska uppgradera. Speceillt om man kör QC i en låst o strikt miljö som vi gör.
När det gäller Whiteboard så gillar jag den också (Scrum/Kanban) kombinerad med kanske detaljer i QC eller ReQtest :-)” – Sonja

”Jag röstar på egenutvecklade verktyg skräddarsydda sammanhanget, Whiteboard, Excel samt Notepad++” – Stefan T

IBM Manual Tester

Kommentar om IBM Manual tester

”Ett verktyg som jag verkligen hoppas slippa jobba med igen är IBM Manual Tester!!! Det var inte roligt och kändes som onödigt krånligt. Både när det gällde att skriva testfall, köra testerna och rapportera fel. För att inte tala om att få ut rapporter… *phu*”- Maria K 

Länk till Manual Tester

JIRA – Greenhopper

“JIRA is a proprietary issue tracking product, developed by Atlassian, commonly used for bug tracking, issue tracking, and project management. The product name, JIRA, is not an acronym but rather a truncation of “Gojira”, the Japanese name for Godzilla.[3] It has been developed since 2002” Källa: Wikipedia

Jira Greenhopper verkar överlag ha fått bra kommentarer. Framförallt för sin konfigurations möjlighet och anpassning i agila projekt. Däremot kan det kräva en lite längre uppstartssträcka än andra mer enkla testverktyg.

Kommentar om JIRA – Greenhopper

”Jag gillar Jira. Men det är i mitt context. Mitt Team använder Jira till att logga Issues (nya storys, improvements osv). Då tycker jag det blir praktiskt att ha buggarna i samma system. Lätt att länka till nya uppgifter och i vilken release de hittades och när de ska rättas. Dessutom gillar jag möjligheten att kommentera och föra en diskussion i buggen” – Åke J

”Är också en förespråkare av whiteboards (som Måns), men måste medge att Greenhopper (som vi använder nu) har sina fördelar. Att i efterhand kunna gå tillbaka och kolla vad som gjordes i vilken task, vem som gjorde det, vad de hade att säga om uppgiften osv är ofta väldigt väldigt värdefullt. Givetvis kan man få detta genom ordentligt kommenterade incheckningar osv, men tycker “enkelheten” i att ha ett system som binder ihop allt (typ JIRA) är guld” – Magnus S

”Jag var inne och kollade lite på Jira för ett par månader sedan och måste säga att jag gillade vad jag såg, det verkade finnas många sätt att anpassa systemet för de behov man har. Ska bli kul att testa det skarpt i ett projekt nån gång” – Peter B

”Jira är suveränt som utvecklingsverktyg och nu kan man koppla ett testverktyg till detta som jag inte sett tidigare.” – Anna Lena

”Använder i pågående projekt Jira för bughantering (och utvecklarna kör sina sprintar i det också) efter att nyligen övergivit Mantis. Funkar finfint tycker jag. Krav och testfall ligger dock i SpiraTest, som är mer än lovligt drygt att arbeta med. Inget jag kan rekommendera” – Fredrik L

”Jira med greenhopper fungerar bra i agila projekt. Då får man sin scrumboard sprintvis med möjligheten att redigera och kommentera i varje ärende – något man inte får med fysiska scrum boards som annars förespråkas rätt friskt” – Jasmine L

Länk till Jira

Open Source

Open source eller inte, billigt eller dyrt, kan jag tycka är ointressant, det är snarare argument att ta till (eller undvika) när man inte har andra argument att lyfta fram.Ofta tvingas vi testare använda det testverktyg som tillhör utvecklarnas verktygssuite med spårbarhet som argument. Det kan irritera mig iblan. – David P

“Open source eller inte, billigt eller dyrt, kan jag tycka är ointressant, det är snarare argument att ta till (eller undvika) när man inte har andra argument att lyfta fram.”, om det nu inte är så att man är intresserad av priset förutom att verktyget är funktionellt. Jag tycker det finns en massa parametrar att tänka på varav priset kan vara speciellt intressant för t.ex mindre företag. – Martin J

”Pris är alltid intressant. I slutändan så måste ju investeringen i verktyg betala sig. Man måste alltid göra val, antingen lägger vi i år några hundratusen på licenser eller så lägger vi det på utbildning.
Dessutom är det inte helt ovanligt att man begränsar vem som har tillgång verktyg om de kostar mycket. Tex utvecklare måste motivera varför de behöver access och licenser till testverktyg.

Att koka ihop en egen kombination av billigare produkter är inte alltid lösningen, finns en hel del dolda kostnader kring utveckling och integration. Men det ger dig åtminstone möjligheten att göra val.” – Daniel L

Quality Center

”HP Quality Center (QC) is a set of web-based test management software offerings from the HP Software Division of Hewlett-Packard, many of which were acquired from Mercury Interactive Corporation.[1] HP Quality Center offers software quality assurance, including requirements management, test management and business process testing for IT and application environments.[2] HP Quality Center and HP Performance Center are components of the HP Application Lifecycle Management software solution set.” Källa: Wikipedia

Quality Center kalla QC är nog det vanligaste verktyget och även det verktyg som fick flest röster. Nu kunde man bara ha med 5 verktyg som man kunde rösta med så det är svårt att säga vilket verktyg som är populärast. Det man kan säga om QC är mycket hatkärlek. Vissa tycker om den medan andra hatar den. Att få jobba med ett testverktyg som TFS, ReqTest, Jira eller t.o.m Bugzilla kan vara bättre än Excel. Det är billiga eller gratis verktyg och det kan avgöra valet av verktyg för den som ska betala. Om man inte behöver tänka på kostnaden är QC helt klart mest användarvänligt och kraftfullast

Kommentar om QC

”Men i större projekt och uppdrag är det en fördel att ha ett verktyg. Vi använder QC och det täcker många behov, dock kräver det mycket administration för att få en bra uppföljning” – Behiya K 

”Jobbat med alla utom ReQtest som jag bara tittat in i snabbt och enligt min erfarenhet är QC överlägset de alla. Långt ifrån perfekt men än så länge det bästa marknaden har att erbjuda, men alldeles för dyrt. Det enda verktyg som jag testat och jag anser kommer någorlunda nära i funktionalitet är klaros testmanagement” – Peter S

Personligen gillar jag QC för att det verkligen är framtaget för testare (förstår inte alls vad du menar Lünning!?). Mina erfarenheter gäller emellertid bara manuella tester. – David P

”Jag har oftast använt QC (ALM) och tillsammans med en väl definierad defektprocess tycker jag att det fungerar mycket bra för defekthanteringen” – Maria K

”För test är QC överlägset men för dyrt!” – Anna-Lena

”QC är bland det bästa jag sett när det gäller testfallshantering, testexkvering och att det finns en bra koppling mellan krav och testfall. Enkelt att generera finfina diagram att imponera med.” – Lars

”HP Quality Center har jag goda erfarenheter av, förutom några “Catastrophic failure” här och var. Det känns ganska komplett och framförallt är det uppbyggt i moduler så man kan välja lite vad man vill ha” – Peter B

• ”Jobbat med QC innan och mer tungt system får man ju leta efter.
  Problemet är ju att det inte riktigt fungerar bra för agila projekt”
• ”Quality Center tycker jag inte riktigt är prisvärt. Finns rätt mycket mer att önska vad gäller funktionalitet, stabilitet, användarvänlighet och plattformsoberoende”
• ”Jag anser att QC känns oerhört meckigt och onödigt när saker som ligger där ändå måste flyttas för att kunna kopplas mot incheckad kod”
• ”QC är meckigt och dyrt”

Rally Software

”Rally Software, founded in 2002, offers SaaS-based Application Lifecycle Management (ALM) platform and products, Agile coaching services, courses through Agile University and online forums focused on Agile and Lean practices. Rally is based in Boulder, Colorado, with offices in Raleigh, North Carolina, and London, England.”

Kommentar om Rally Software

”Rally eller TargetProcess är något mer inrikade mot agilt men som vanligt när man skall ha med allt i ett verktyg så blir det inte riktigt bra på någonting” – Björn P

Länk till Rally Software

Rational ClearQuest

Rational ClearQuest is an enterprise level workflow automation tool from the Rational Software division of IBM. Commonly, ClearQuest is configured as a bug tracking system, but it can be configured to act as a CRM tool or to track a complex manufacturing process. It can also implement these functions together. IBM provides a number of predefined “schemas” for common tasks such as software Defect Tracking which can themselves be further customized if required. Källa: Wikipedia

Kommentar om Rational Clear Quest

”Det allra viktigaste tycker jag är att ha ett bra verktyg för att hantera buggar och bland de bättre är ClearQuest. Lätt att lära, enkelt att använda för nya användare och bra kontroll av flödet av rapporter. Bara i undantagsfall använder jag Excel och då som enda användare, tex under kort och intensiv integrationsperiod, för att efter den perioden föra in de buggar som inte blivit rättade under perioden i ett riktigt verktyg.” – Lars

Länk till Clear Quest

ReQtest

”ReQtest är ett webbaserat verktyg som används för att administrera krav, testfall och felrapporter. I ReQtest kan du administrera alla faser av krav- och testarbetet” Källa: ReQtest

ReQtest som verktyg nämns inte allt för mycket i diskussionen. Varför vågar jag inte säga men de positiva kommentarerna är runt användarvänlighet, administration och det låga priset.

Kommentar om ReQtest

”ReqTest trevligt och enkelt” – Dennis H

”ReQtest bra för ovana testare/administrerare” – Inga-Britt G 

”Jag gillar ReQtest för sitt användarvänliga gränssnitt. Hur många verktyg kan skryta med att verksamhet/slutanvändare faktiskt kör acceptanstesterna med det, och gillar det? Det är kanske inte det bästa verktyget i agila projekt, men jag värderar enkelheten högt i kombination med den kontroll bra testverktyg medför” – Tobias A

Länk till ReQtest

Team Foundation Server

Team Foundation Server (commonly abbreviated to TFS) is a Microsoft product offering source control, data collection, reporting, and project tracking, and is intended for collaborative software development projects.[1] It is available either as stand-alone software, or as the server side back end platform for Visual Studio Team System (VSTS). Källa Wikipedia

Kommentar om Team Foundation Server

”Jag gillar den här länken som tar upp frågan om just QC vs TFS. Sedan kommer vi aldrig komma ifrån att alla har olika smak. Men om man ska jobba i ett agilt team känns TFS överlägset för att underlätta för alla inblandade och knyta ihop alla delar av ett projekt inte enbart för test.  Eller så kör man i TFS:en så allt går att koppla ihop från task till kod och test och burn down chart m.m. Dessutom kan du använda TFS:en på precis samma sätt som QC” – Elisabeth W

”Gillar helt klart TFS eftersom det ger en good interaction mellan alla inblandade. Vi har har allt från project plannering till tets fall i TFS. Det gør att det endast finns en punk før utvecklare, testare och projekt ledare att gå till, samt det blir enkelt att lænka olika typer av information till varandra. Sen att man kan ta fram all værdens statestik eftesom all finns på samma plats. Oxo enketl att skapa rapporter direkt med SQL server verktygen.” Peter

”Jag håller med TFS/Test Manager, är inte bättre än de andra verktygen men har en oslagbar integration mot andra discipliner, speciellt då i Agila projekt.
Funkar så klart bara bra i .NET projekt”. – Tomas

Sitter med TFS/MTM nu och det fungerar men man har knappast rådfrågat testare när man skapade det verktyget. Skulle kunna skriva en lång lista över pinsamma missar i MTM. – David P

”Jag har inte använt mig av TFS/Test Manager nog för att kunna avgöra om det är bra eller ej. Men det jag absolut inte gillar är hur de paketerat de olika produkterna. Vill man att alla i teamet/avdelningen både ska kunna jobba med testbiten och koden så får man köra VS Ultimate. Vilket blir väldigt dyrt om man bara byter roll ibland och vanligtvis skulle klara sig med VS Pro. Det var åtminstone så MS representanter förklarade att licensmodellen var för 1,5 år sedan.” – Daniel L

”Anvænder TFS och Test Manager. Ær riktigt glad før TFS som en central punkt før allt (bugar, test cases, deliverables). Enkelt att få øverblick. Har anvænt test manager en del før manuel test kørning, specielt med test vendors.
Minus
-Riktig sløt
-Går ej att avbrytta test case “half way”
Plus
-Nice att koppla bugar med test cases
-Gillar oxo test steps definationen.
-Live report of progress.
-Går att skapp riktigt goda rapporter och analyzer av data eftersom allt sparas i TFS” – Peter

”Men vad nu? Ingen som jobbar med TFS/Test Manager? Helt suveränt att koppla till buggar som rättas i koden, mappa US till testfall etc etc. Klart smidigt att implementera autotest från Test Manager. Slår QC om man jobbar i ett Microsoft-projekt :-)” Dennis H

”Jobbar med TFS/Test Manager, så det är skönt att höra att det slår QC ;-), eftersom jag aldrig jobbat med det. Mycket att få på plats, och vi jobbar mycket i teamet med att få till en effektiv process, men jag har stora förhoppningar att vi kommer att lyckas.” Camilla W

”Test Manager (är lite buggig) men annars helt suverän att göra skriptade testfall som du sedan kan göra om till automatiserade testfall. Ta ut testfall mha queries till Excel, inga problem. Skapa inspelningar som utvecklarna kan spåra buggen med Intellitrace, funkar bra. Det går att jobba väldigt tekniskt med TFS/Test Manager. Hoppas nästa projekt blir med TFS/Test ManagerJ” – Dennis H

Länk till TFS

Telelogic Doors

Requirements traceability is a sub-discipline of requirements management within software development and systems engineering. Requirements traceability is concerned with documenting the life of a requirement and to provide bi-directional traceability between various associated requirements. It enables users to find the origin of each requirement and track every change that was made to this requirement. For this purpose, it may be necessary to document every change made to the requirement. Källa: Wikipedia

Kommentar om Telelogic Doors
”Vad gäller kravhantering har jag haft bra erfarenheter av Telelogic Doors” – Jasmine L

Länk till Doors

TargetProcess

“TargetProcess.com, an expert in agile project management software for Agile programming needs. Manage projects in Scrum or Kanban easily with agile and” Källe Target Process

Länk till TargetProcess

TestLink

TestLink is a web-based test management software that facilitates software quality assurance. It is developed and maintained by Teamst. The platform offers support for test cases, test suits, test plans, test projects and user management, as well as various reports and statistics. Källa: Wikipedia

Länk till TestLink

TestComplete

TestComplete is an automated testing tool, developed by SmartBear Software which aims to allow testers to create software quality tests. Tests can be recorded, manually scripted or created manually with keyword operations and used for automated playback and error logging. Källa: Wikipedia

Kommentar om Test Complete

”För professionella automatiserings verktyg har jag mycket positiv erfarenhet av TestComplete som står i klassen med de stora verktygen inom det segmenten men mycket billigare. Och det finns mera… tack och lov!” – Jaime G

”Vi använder TestComplete och Javascript för att scripta våra auto tester. TFS och MS Test Manager använder vi för hålla reda på våra testfall och buggar. Jag tycker TestComplete är ett väldigt bra och lätt använt verktyg med mycket nyttiga funktioner.” – Elvir A

Länk till TestComplete

Testrail

TestRail is a test case and test management software tool that helps teams manage and track their software testing efforts. Its intuitive web-based user interface: Källa gurock.com/testrail

Kommentar om TestRail

”Vi använder Testrail för testfall hantering och Jira för felhantering. Just Testrail är bra för att organisera sina testfall. När det gäller Jira bör man konfigurera jira efter en väl tänkt bugg hanterings process som passar organisationen i fråga.” – Farahnaz S

Länk till TestRail

Whiteboard

Whiteboard var ett verktyg som jag glömde bort att ta upp men såklart helt suveränt och enlig mig oslagbart i många sammanhang. Varför inte en elektronisk Whiteboard? Inte helt fel tyckte Jagge och Måns Sandström

Kommentar om Whiteboard

”Whiteboard en fysisk alltså. Slår alla ovan nämnda med hästlängder. Elektroniska verktyg verkar vara bra om man tänker leverera väldigt många buggar och om man inte har för avsikt att arbeta nära beställare och användare” – Måns S

”Gillar dock översikten som elektronisk whiteboard/kanban/taskboard. Om personer sköter sig och uppdaterar så kan man snabbt se hur det går i projektet”- Björn P

”Att använda en Whiteboard som test management-verktyg ger mig rysningar av helt fel sort” – Peter S

Zephyr

Zephyr offers test management software which can assist project teams, departments & entire organizations in making tough decisions. Our testing management. Källa: getzephyr.com

Kommentar om Zephyr

”Jag har jobbat med samtliga och nu senast med ett verktyg som heter Zephyre som ska fungera med Jira.” – Anna-Lena

Länk till Zephyr

PS: vill ni inte ha med er kommentar i artikel? maila då mig så tar jag bort den.

/Testzonen