Afstudeeropdracht in DevOps Methods & Tools: Better mutation testing for Java

Omschrijving

Functie eisen

Vakmanschap is één van de kernwaarden van Info Support. We vinden goede codekwaliteit belangrijk. Om te zorgen dat onze code grondig getest is, schrijven en voeren we onder andere unit tests uit. Maar hoe bepaal je de effectiviteit van je unit tests? Hier komt mutation testing om de hoek kijken.

 

Bij mutation testing voert een framework kleine wijzigingen door in je productiecode. Zo kan bijvoorbeeld een > teken veranderen in een >= teken, wat resulteert in een mutant. Vervolgens draait het framework je tests. Faalt er ten minste één test, dan is de mutant ‘killed'. Slagen alle tests, dan heeft de mutant ‘survived'. Het percentage ‘killed' mutants wordt de mutation score genoemd. Hoe hoger deze score, hoe effectiever je unit tests zijn.

 

Pitest is het mutation testing framework voor Java, dat werkt op basis van bytecode mutatie. De code wordt eerst naar bytecode gecompileerd, waarna mutanten één voor één worden ingevoerd in de bytecode en getest.

Stryker is een mutation test framework voor .NET, JavaScript, Scala en in de toekomst ook Kotlin. Het wordt ontwikkeld door Info Support als open source tool (met inmiddels meer dan 10 milioen downloads). Stryker werkt altijd met mutant schemata. Bij mutant schemata worden de mutanten allemaal tegelijk in de broncode gezet, maar er kan er maar één tegelijk actief zijn.

Dit is een voorbeeld van mutant schemata bij JavaScript:

Wanneer je mutation testing wilt toepassen in Java-projecten, is PITest momenteel de go-to keuze. Dit betekent dat er gebruik wordt gemaakt van bytecode mutatie, wat enkele nadelen met zich meebrengt:

Accuratie: Het is niet mogelijk om de exacte locatie van een mutant in de broncode aan te duiden

False positives: Er worden mutanten gegenereerd die in Java niet gecreëerd kunnen worden

Performance: Voor het testen van een mutant moet deze eerst aan de bytecode worden toegevoegd, wat aanzienlijke overhead veroorzaakt