Afstudeeropdracht in Software Development: Unit tests genereren met AI aan de hand van mutatie tests

Omschrijving

Functie eisen

Het is veel werk om een grote applicatie goed te unit testen. Maar tegenwoordig is het mogelijk om unit tests te laten genereren door een AI zoals bijvoorbeeld co-pilot. Het risico dat hieraan vastzit is natuurlijk dat de unit tests niet correct zijn of onvoldoende diepgang hebben. Ook moeten er goede instructies aan de AI worden gegeven over wat er precies getest moet worden. Dit blijft echter handmatig werk, hoewel Stryker (1) eigenlijk al precies weet wat er getest moet worden, namelijk de mutaties die niet als “killed” worden gemarkeerd.

 

 

(1) Stryker.NET is het mutationtest framework voor .NET. Mutation testing wordt gebruikt om de effectiviteit van Unit Tests te meten. Bugs, of mutanten, worden automatisch gegenereerd in jouw source code. Vervolgens worden per mutatie alle unit tests uitgevoerd. Wanneer minimaal 1 test faalt, markeren we de mutatie als killed. Als de tests slagen, markeren we de mutatie als survived. Hoe meer killed mutaties, hoe effectiever jouw unit tests. Dit geeft een beter beeld dan code coverage omdat daadwerkelijk bewezen wordt dat de tests effectief zijn.