Best Practices | Testfälle | Probedurchläufe

Bevor Sie mit der Ausführung von Tests in Ausführungslisten beginnen, empfehlen wir Ihnen, zunächst einige Probedurchläufe Ihrer Testfälle im ScratchBook durchzuführen.

Das ScratchBook speichert die Ergebnisse nicht dauerhaft, was es zu einem hervorragenden Spielplatz macht, um Instabilitäten in Ihren Tests zu finden und zu beheben. Zum Beispiel Probleme mit der Identifizierung, fehlende Wartezeiten für abhängige Controls oder Pop-up-Dialoge, die Sie bei der Gestaltung Ihres Testablaufs nicht berücksichtigt haben.

Machen Sie Ihre Testfälle so stabil und zuverlässig wie möglich. Sobald Sie sich in der Phase der Testausführung befinden, möchten Sie keine wertvolle Zeit damit verbringen, herauszufinden, ob ein fehlgeschlagenes Ergebnis auf einen Fehler in Ihrer Applikation oder in Ihrem Test hinweist. Darüber hinaus speichern Ausführungslisten die Ergebnisse dauerhaft. In stark regulierten Umgebungen, in denen Sie alle Testergebnisse aufzeichnen müssen, verwirrt das Experimentieren mit Testfällen in Ausführungslisten Ihre Ergebnisaufzeichnung.

Dieses Kapitel führt Sie durch das Testen Ihrer Tests:

  • Wie Sie die Ergebnisse leichter analysierbar machen.

  • Wie Sie Probleme in Ihren Tests behandeln.

Ergebnisse leichter analysierbar machen

Hier sind ein paar Ansätze, die die Analyse der Ergebnisse viel einfacher machen:

Ergebnisse im ScratchBook: Standardansicht → mit aktivierter Option Show multiline logs

  • Um einen Screenshot Ihrer Applikation zu erstellen, wenn ein Testschritt der grafischen Benutzeroberfläche fehlschlägt, aktivieren Sie die Einstellung Make screenshot on failed test steps.

    Wenn Sie Tests im ScratchBook ausführen, können Sie den Screenshot an dem Speicherort anzeigen, den Sie in der Einstellung definiert haben. Wenn Sie Tests in Ausführungslisten ausführen, fügt Tosca den Screenshot den Testergebnissen hinzu.

  • Um Ihre Tests in Aktion zu überprüfen und Aspekte zu identifizieren, die verbessert werden müssen, zeichnen Sie Ihre Tests der grafischen Benutzeroberfläche per Video auf. Bitte beachten Sie, dass es sich hierbei noch um ein Early-Access-Feature handelt.

Probleme in Ihren Tests behandeln

Wenn Ihr Testfall fehlschlägt, erweitern Sie den fehlgeschlagenen Testschritt und überprüfen Sie die Details in der Spalte LogInfo.

Ist es ein Steuerungsproblem?

Wenn Tosca einen Bildschirm oder ein Control nicht finden oder steuern kann, überprüfen Sie Ihre Applikation. Wenn Sie die Einstellung Make screenshot on failed test steps aktiviert haben, überprüfen Sie den Screenshot.

  • Sieht Ihr Bildschirm an diesem spezifischen Punkt des Tests wie erwartet aus? 

    Überprüfen Sie Ihr Modul, insbesondere die von Ihnen für Ihren Bildschirm bzw. Ihr Control ausgewählten Bezeichner. Möglicherweise müssen Sie das Modul aktualisieren. Zeichnen Sie das Modul beispielsweise erneut auf, um bessere Bezeichner auszuwählen, oder aktualisieren Sie die Bezeichner nach einer Codeänderung in Ihrer Applikation.

  • Gibt es unerwartete Elemente auf Ihrem Bildschirm? 

    Prüfen Sie, ob ein Verhalten auftritt, das Sie während des Testdesigns möglicherweise übersehen haben, z. B. Bestätigungsdialoge oder Pop-ups, die die Benutzeroberfläche blockieren. Idealerweise passen Sie Ihren Testfall an dieses Verhalten an. Wenn das Verhalten sporadisch auftritt, müssen Sie möglicherweise stattdessen Wiederherstellungsverfahren einrichten.

Ist es ein Verifikationsproblem?

Vergleichen Sie das erwartete Ergebnis und das tatsächliche Ergebnis in der Spalte LogInfo. Wenn Sie die Einstellung Make screenshot on failed test steps aktiviert haben, überprüfen Sie auch den Screenshot.

  • Überprüfen Sie das richtige Control?

    Überprüfen Sie Ihren Testfall, um sicherzustellen, dass Sie das richtige Control überprüfen. Das gilt insbesondere für Tabellen, bei denen es leicht vorkommt, versehentlich die falsche Zelle zu definieren. Möglicherweise müssen Sie Ihren Testfall aktualisieren.

  • Ist es ein legitimes Verifikationsproblem? Mit anderen Worten: Sie überprüfen definitiv das richtige Control und es besteht ein Unterschied zwischen Ihrem Testfall und der Applikation.

    Überprüfen Sie Ihren Testfall und Ihre Applikation, um herauszufinden, welcher von beiden fehlerhaft ist. Möglicherweise müssen Sie beide Schritt für Schritt durchgehen, um die Quelle des Problems zu finden.

Wenn das Verifikationsproblem auf einen Fehler in Ihrer Applikation zurückzuführen ist, stellen Sie sicher, dass Sie die Fehlerbehandlung einrichten. Keine Sorge, auch bei der Fehlerbehandlung meldet Tosca weiterhin den Verifikationsfehler. Solange der Fehler besteht, werden Sie darüber informiert. Die Fehlerbehandlung bringt Ihren Testdurchlauf wieder auf Kurs, sodass Sie immer noch aussagekräftige Ergebnisse für den Rest Ihrer Ausführungsliste erhalten.

Nehmen wir an, Ihr Testfall fügt dem Warenkorb Ihres Webshops fünf Produkte hinzu. Sie führen Ihre Tests im ScratchBook durch und Tosca meldet ein Verifikationsproblem mit dem Gesamtpreis. Während Ihrer Untersuchung stellen Sie fest, dass ein Produkt einen Fehler aufweist: Ihre Applikation berechnet nicht immer die richtige Steuer im ersten Anlauf. In diesem Fall könnten Sie ein Recovery-Szenario erstellen, das das Produkt aus dem Warenkorb entfernt und dann wieder hinzufügt.

Benötigen Sie Hilfe für weitere Einblicke in Ihre Ausführungsergebnisse,? Tosca Copilot steht Ihnen zur Seite! Nähere Informationen finden Sie in der Tosca Copilot-Dokumentation (wird in einem neuen Reiter geöffnet).

Ist es ein Timeout-Problem?

Wenn in Tosca auf Bildschirmen oder Controls eine Zeitüberschreitung auftritt, überprüfen Sie Ihre Applikation. Wenn Sie die Einstellung Make screenshot on failed test steps aktiviert haben, überprüfen Sie den Screenshot.

  • Sind alle Controls aktiv, die Sie an diesem spezifischen Punkt des Tests erwarten?

    Überprüfen Sie Ihre Applikation auf Abhängigkeiten zwischen Controls. Möglicherweise müssen Sie eine dynamische Wartezeit hinzufügen, sodass Tosca wartet, bis ein bestimmtes Control verfügbar ist. Dies kann der Fall sein, wenn beispielsweise ein Fortschrittsbalken 100 % erreichen muss, bevor die Schaltfläche Next aktiviert wird.

  • Hat das Laden Ihrer Applikation länger gedauert als erwartet?

    Wenden Sie sich an Ihr QA-Team. Wenn der Bildschirm oder das Control wirklich nicht so lange zum Laden brauchen sollte, lassen Sie Ihren Testfall so, wie er ist. Auf diese Weise erhalten Sie den Fehler, bis Ihre Applikation repariert wurde.

    Wenn Sie sich in den früheren Phasen der Entwicklung befinden, in denen Sie erwarten, dass Ihre Applikation langsam ist, passen Sie Ihren Testfall an. Sie können die Standardzeit erhöhen, die Tosca auf alle Bildschirme und Controls wartet, oder Sie können Wartezeiten für bestimmte Controls oder Testfälle hinzufügen. Auf diese Weise erhalten Sie keine fehlgeschlagenen Tests für erwartete Timeouts.

Nähere Informationen zu Wartezeiten und wichtigen Überlegungen finden Sie hier: " Best Practices | Testfälle | Wartezeiten".

Nächste Schritte

Wenn Sie dies noch nicht getan haben, lesen Sie auch unsere anderen Best Practices-Artikel.