Configuration de l'analyse des tests

Lors de l'analyse des tests, il est important de disposer d'un ensemble de métriques correctes pour vous aider à formuler des hypothèses correctes sur le résultat réel de votre parcours de test. Avec NeoLoad Web, vous pouvez choisir d'intégrer jusqu'à dix métriques dans les résultats de vos tests.

Vous pouvez également utiliser l'option regression detection pour comparer automatiquement les résultats des tests actuels avec des métriques statiques ou dynamiques personnalisées. Cela vous permet de surveiller les changements non désirés dans le comportement de base d'une fonctionnalité avec de nouveaux incréments, par exemple. .

Spécifier les métriques pour les résultats de vos tests

Pour ajuster les métriques affichées dans un graphique d'une vue de test, procédez comme suit :

  1. Dans NeoLoad Web, allez dans Tests.

  2. Sélectionnez Settings à l'intérieur du test que vous voulez configurer pour ouvrir la boîte de dialogue Test Analysis Configuration.

  3. Dans la section Metrics, ajoutez ou supprimez les métriques pertinentes à vos résultats de test.

  4. En option, vous pouvez travailler avec la détection de régression.

Le graphique qui en résulte peut contenir jusqu'à dix métriques, représentées par des lignes pleines. Pour plus d'informations sur les valeurs métriques disponibles, voir Value types.

 

Travailler avec la détection de régression

NeoLoad Web utilise des Objectifs pour détecter les régressions dans les résultats de vos tests. Lorsque vous spécifiez un Objectif comme métrique, NeoLoad Web compare automatiquement vos résultats de test actuels avec les valeurs associées à l'objectif spécifié. Il peut s'agir des éléments suivants :

Si une valeur respective dans vos résultats de test dépasse la valeur spécifiée par votre objectif, il s'agit d'une régression, ce qui entraîne l'échec du résultat du test.

Note : L'échec du test dû à la détection d'une régression déclenche également des Webhooks qui dépendent de l'état de qualité Failure.

NeoLoad Web ne détecte pas la régression si :  

  • Aucun Objectif n'est défini dans la configuration Test Analysis.

  • Aucune valeur n'a été saisie pour la métrique dans le résultat du test.

Mode Objectif statique

Vous pouvez utiliser les Objectifs statiques pour comparer la valeur réelle d'une de vos métriques à une valeur fixe que vous spécifiez.

Pour spécifier un Objectif statique, suivez les étapes suivantes :  

  1. Dans la boîte de dialogue Test Analysis Configuration, cochez une ou plusieurs cases Objective pour spécifier une valeur métrique personnalisée.

  2. Dans la section Objective Mode, sélectionnez Static Objective Mode.

Mode Objectif de référence

Vous pouvez utiliser les Objectifs de référence pour désigner des résultats de test existants comme référence de comparaison pour votre test actuel. Ce faisant, les champs Objective sont automatiquement remplis avec les valeurs de la référence désignée.

Note : Vous ne pouvez pas modifier manuellement les champs Objectif de référence.

Pour désigner les résultats de test existants comme référence, procédez comme suit :

  1. Dans la boîte de dialogue Test Analysis Configuration, cochez une ou plusieurs cases Objective pour spécifier une valeur métrique personnalisée.

  2. Dans la section Objective Mode, sélectionnez Baseline Objective Mode.

  3. Spécifiez un élément Reference result pour cette métrique et sa Tolerance. Les champs de valeur sont ainsi automatiquement remplis.

Note : Le pourcentage de tolérance définit une plage d'écart admissible pour une mesure, sans indiquer de régression. Il permet de modifier légèrement les résultats de test sans considérer que le test a échoué.

Mode Objectif automatisé

Avec un objectif automatisé, la valeur de l'objectif est calculée à la fin du résultat de test et est basée sur les résultats Passed les plus récents. En d'autres termes, Neoload passe en revue les 50 derniers résultats de test réussis pour calculer la valeur de l'Objectif automatisé.

Pour spécifier un Objectif qui utilise une valeur cible calculée, procédez comme suit :

  1. Dans la boîte de dialogue Test Analysis Configuration, cochez une ou plusieurs cases Objective pour spécifier une valeur métrique personnalisée.

  2. Dans la section Objective Mode, sélectionnez Automated Objective Mode.

Lorsque vous réglez vos objectifs sur Automated, vous disposez d'une option permettant d'étendre l'écart. Normalement, cet écart est deux fois supérieur à l'écart par défaut. Toutefois, si vous souhaitez plus de flexibilité, vous pouvez sélectionner un écart trois ou quatre fois supérieur à l'écart par défaut.

Note : Vous devez réaliser au moins 2 tests comprenant la métrique requise pour obtenir une valeur Objective.