Last- und Leistungstests in einer DevOps Delivery-Pipeline

Leistungstests werden zunehmend Teil der Continuous-Delivery-Pipeline in DevOps-Einstellungen. Hier sprechen wir über Leistungstests und die besten Möglichkeiten, Last- und Leistungstests in die Bereitstellung von Anwendungen einzubeziehen.

Moderne Softwareanwendungen müssen schnell auf sich ändernde Geschäftsanforderungen reagieren sowie Fehler, Leistungsprobleme und Sicherheitsprobleme schnell beheben, um wettbewerbsfähig zu bleiben. In einer herkömmlichen Entwicklungsumgebung steht jedoch die Zeit, die zum gründlichen Testen einer Softwareanwendung vor ihrer Veröffentlichung benötigt wird, im Widerspruch zu der Geschwindigkeit, mit der sich die Anwendung weiterentwickeln muss.

DevOps-Methoden haben sich als wirksam erwiesen, um diese widersprüchlichen Anforderungen einer schnellen Veröffentlichung und Bereitstellung hoher Softwarequalität in Einklang zu bringen. Aus diesem Grund erfreuen sie sich in zukunftsorientierten Softwareentwicklungsorganisationen großer Beliebtheit.

DevOps nutzt das Konzept des kontinuierlichen Prozesses, das alle Phasen des Anwendungslebenszyklus umfasst, von der Codeänderung über Anwendungstests bis hin zu Bereitstellung und Produktionsüberwachung. Während kontinuierliche Unit- und Integrationstests weit verbreitet sind, hinkt das kontinuierliche Performance-Testing deutlich hinterher. Dies liegt vor allem daran, dass Unternehmen Schwierigkeiten haben, traditionell manuelle Performance-Tests in eine hochautomatisierte DevOps-Pipeline zu integrieren. In diesem Artikel beschreiben wir, wie sich Performance-Testing verändern muss, um ein integraler Bestandteil der DevOps-Umgebung zu werden.

Warum sind Leistungstests für Serveranwendungen so wichtig?

Anwendungen können auf verschiedene Weise fehlschlagen. Um Fehler zu erkennen, setzen Softwareentwicklung und Qualitätssicherung mehrere Arten von Tests ein. Zu den häufigsten gehören die folgenden.

• Unit-Tests
• Integrationstests
• Sicherheitstests
• Leistungstests
• Verteilungstests

Jeder dieser Testtypen befasst sich mit einer bestimmten Kategorie von Fehlern, die bei einer Anwendung in der Produktion auftreten können. Leistungstests, die Gegenstand dieses Artikels sind, zielen auf eine Reihe von Fehlertypen ab, die auftreten, wenn die Anwendung einer Last gleichzeitiger Anforderungen ausgesetzt ist. Nachfolgend sind die sechs häufigsten dieser Fehlertypen aufgeführt.

1. Langsame Reaktionszeiten. Reaktionszeiten fallen aufgrund von Anwendungs- oder Infrastrukturengpässen unter das akzeptable Niveau.
2. Teilweise Nichtverfügbarkeit. Ein Zustand, in dem einige Clientanfragen keine Antworten erhalten. Dies kann aufgrund unzureichender Ressourcenzuweisungen, Ressourcenlecks, Parallelitätsproblemen (Race Conditions, Deadlocks) usw. passieren.
3. Völlige Nichtverfügbarkeit. Anwendungsabstürze können auftreten, wenn sich Auswirkungen, die zu einer teilweisen Nichtverfügbarkeit führen, so weit verstärken, dass sie sich auf die gesamte Anwendung auswirken.
4. Fehlerantworten. Anwendungsantworten weisen darauf hin, dass die Verarbeitung von Clientanforderungen fehlgeschlagen ist, indem beispielsweise HTTP 500-Antworten zurückgegeben werden. Dies kann auf die gleichen Ursachen zurückzuführen sein, die zu einer teilweisen Nichtverfügbarkeit der Anwendung führen, jedoch aufgrund der Anwendungslogik zu unterschiedlichem Verhalten führen.
5. Falscher Inhalt in den Antworten. Die Anwendung gibt wohlgeformte Antworten mit falschem Inhalt zurück. Zeitweise falsche Inhalte in Antworten können beispielsweise durch Rennbedingungen verursacht werden.
6. Mögliche Auswirkungen auf die Sicherheit aufgrund von Leistungsproblemen. Ein Beispiel hierfür ist die nicht ordnungsgemäße Handhabung von DOS-Angriffen (Denial of Service) oder die Offenlegung anwendungsinterner Details, die als Fehlerbeschreibungen in die Serverantworten eindringen können, wenn die Anwendung aufgrund einer Überlastung in einen schlechten Zustand gerät.

Jeder dieser Fehler kann zu finanziellen Verlusten führen und den Ruf des Unternehmens als zuverlässiger Dienstleister schädigen. Im Folgenden sehen wir uns Schritte zur Integration von Leistungstests in die DevOps-Pipeline an, um diese Probleme frühzeitig zu erkennen.

Integrieren Sie Leistungstests in die Continuous-Delivery-Pipeline

Sie können mit der Integration von Leistungstests in die Pipeline für die kontinuierliche Bereitstellung beginnen, indem Sie Jenkins oder einem Tool für die kontinuierliche Integration Ihrer Wahl ausgewählte Leistungstests hinzufügen und diese regelmäßig ausführen lassen.

Abhängig von Ihren Anforderungen können Sie während des Aufbaus oder Tests der Infrastruktur Leistungstests an einem oder mehreren der folgenden Punkte durchführen.

• Nach jedem Build mit einem reduzierten Satz von Leistungs-„Smoke“-Tests.
• Einmal am Tag mit einem umfassenderen Satz von Leistungstests.
• Einmal am Wochenende oder basierend auf der Verfügbarkeit der Infrastruktur mit einer Reihe von Langzeittests für Dauertests oder Lasttests mit hohem Volumen für Stresstests.

Dies allein reicht jedoch nicht aus.

Die manuelle Analyse von Lasttestberichten kann zeitaufwändig sein und erfordert möglicherweise spezielle Fähigkeiten, über die nicht jeder Entwickler verfügt. Ohne die Möglichkeit, die Analyse von Lasttestberichten zu automatisieren, wird die Überprüfung der Ergebnisse von Leistungstests zu einem mühsamen Zeitfresser. Wichtige Leistungsinformationen können ebenfalls übersehen werden. In solchen Szenarien führen Sie möglicherweise kontinuierlich Leistungstests durch, deren Nutzen ist jedoch begrenzt.

Automatisieren Sie die Erfassung und Analyse von Leistungstestergebnissen

Um die Vorteile kontinuierlicher Leistungstests voll auszuschöpfen , benötigen Sie einen effektiven Mechanismus zur Analyse der Testergebnisse. Parasoft LoadTest und LoadTest Continuum, ein Modul von Parasoft SOAtest, bieten Ihnen Tools, die die Erfassung und Analyse von Leistungstestergebnissen automatisieren und Ihnen Einblicke in die Performance Ihrer Anwendung ermöglichen.

So richten Sie Ihre Umgebung für die Ausführung kontinuierlicher Leistungstests ein

Die folgenden Schritte helfen Ihnen bei der Einrichtung Ihrer Umgebung für die kontinuierliche Durchführung von Leistungstests mit Parasoft LoadTest und LoadTest Continuum :

1. Überprüfen und konfigurieren Sie die QoS-Metriken des LoadTest-Projekts für die Automatisierung.
2. Bereitstellen und Konfigurieren von LoadTest Continuum für die Erfassung von Lasttestberichten.
3. Konfigurieren Sie LoadTest-Projekte zur Ausführung in Stapeln.
4. Beginnen Sie mit der Ausführung von LoadTest-Projektstapeln als Teil der kontinuierlichen Integration und verwenden Sie LoadTest Continuum, um die Ergebnisse von Leistungstests regelmäßig zu überprüfen und zu analysieren.

Gehen wir diese Schritte im Folgenden einzeln genauer durch.

Schritt 1 - Überprüfen und Konfigurieren von QoS-Metriken für die Automatisierung

Die Quality-of-Service-Metriken (QoS) von Parasoft LoadTest sind eine der Schlüsselfunktionen für die automatisierte Analyse von Leistungstestergebnissen. QoS-Metriken reduzieren große Datenmengen in einem Lasttestbericht auf eine Reihe von Erfolgs-/Fehleraussagen zur Anwendungsleistung. Parasoft LoadTest bietet eine umfassende Auswahl an QoS-Metriken, von sofort einsatzbereiten Schwellenwertmetriken bis hin zu benutzerdefinierten Skriptmetriken, mit denen Sie die LoadTest-API für die erweiterte Analyse von Lasttestdaten nutzen können.

Um Ihre Leistungstests für die Automatisierung vorzubereiten, müssen Sie die QoS-Metriken in Ihren LoadTest-Projekten überprüfen. Führen Sie ein LoadTest-Projekt aus und untersuchen Sie den Bericht: Alle Erfolgs- und Fehlerkriterien, die Sie zur manuellen Analyse eines Lasttestberichts verwenden, sollten als QoS-Metriken dargestellt werden. Konvertieren Sie möglichst viele Metriken in numerische Metriken. Eine numerische QoS-Metrik liefert nicht nur ein Erfolgs-/Fehlerergebnis, sondern quantifiziert auch einen Leistungsindikator für diese Metrik. Beispielsweise würde eine Metrik, die einen Schwellenwert für die CPU-Auslastung validiert, auch den tatsächlichen CPU-Auslastungswert als numerische Metrik liefern.

In LoadTest Continuum werden häufig numerische Metriken verwendet, um die Metrikleistung über die Zeit darzustellen:

Sobald Sie die QoS-Metriken für Ihre LoadTest-Projekte konfiguriert haben , ist es an der Zeit, das LoadTest Continuum für die Erfassung und Analyse von Leistungsdaten einzurichten.

Schritt 2 - Bereitstellen und Konfigurieren von LoadTest Continuum

Stellen Sie das LoadTest Continuum ltc.war-Web-Anwendungsarchiv bereit und konfigurieren Sie es (verfügbar im SOAtest/LoadTest-Installationsverzeichnis ab Version 9.10.2), wie im Abschnitt „LoadTest Continuum“ der LoadTest-Dokumentation beschrieben.

Schritt 3 – Konfigurieren Sie LoadTest-Projekte in Batches für die Ausführung

Kombinieren Sie Ihre LoadTest-Projekte in CMD-Skripten für die Batch-Ausführung. Mit LoadTest-CMD-Skripten können Sie Projektgruppen festlegen, die verschiedene Leistungstests umfassen, z. B. die bereits erwähnten „Smoke-Tests“, Tagestests oder Wochenendtests.

Konfigurieren Sie die CMD-Skripte so, dass Berichtsdaten an LoadTest Continuum gesendet werden, wie im Abschnitt „Senden von Berichten an LoadTest Continuum“ der LoadTest-Dokumentation beschrieben. Richten Sie Ihr Continuous-Integration-Tool so ein, dass LoadTest-CMD-Skripte als Teil eines Build-Prozesses oder in regelmäßigen Abständen ausgeführt werden. Beispielsweise können Sie in Jenkins ein LoadTest-CMD-Skript mit dem Build-Schritt „Windows-Batchbefehl ausführen“ wie folgt ausführen:

%SOATEST_HOME%lt.exe" -J-Xmx4096M -cmd -run "%WORKSPACE%ltcontinuum.cmd

Schritt 4 – Richten Sie ein Dashboard in Parasoft DTP ein

Parasoft DTP enthält Reporting- und Analyse-Dashboards, mit denen Sie den Zustand und den Fortschritt Ihres Softwareprojekts mithilfe einer Vielzahl von Widgets und Berichten überwachen können .

Mit dem Parasoft LoadTest Continuum DTP-Widget können Sie die aktuellste Zusammenfassung der LoadTest-Ergebnisse zu Ihrem DTP-Projekt-Dashboard hinzufügen und haben so eine schnelle Möglichkeit, den Stand der Leistungstestergebnisse in Ihre tägliche Projektstatusprüfung einzubeziehen.

Das Widget zeigt die Anzahl der insgesamt durchgeführten und fehlgeschlagenen Tests und Metriken für die letzten LoadTest-Läufe an. Um die Ergebnisse detaillierter anzuzeigen, klicken Sie im Widget auf den Projektlink. Die Seite LoadTest Continuum wird in einer neuen Registerkarte geöffnet.

Gehen Sie einfach folgendermaßen vor, um ein benutzerdefiniertes LoadTest Continuum-HTML-Widget in DTP einzurichten:

1. Erstellen Sie im Parasoft DTP Report Center ein neues Dashboard oder öffnen Sie ein vorhandenes.
2. Klicken Sie auf Widget hinzufügen. Wählen Sie im Dialogfeld "Widget hinzufügen" die Option "Benutzerdefiniert" -> "Benutzerdefiniertes HTML-Widget".
3. Kopieren Sie den Inhalt der folgenden Datei aus der LoadTest Continuum-Installation in den HTML-Textbereich des Dialogs: %TOMCAT_HOME%webappsltcdtpltc_dtp_widget.html
4. Ändern Sie den HTML-Code mit Ihren benutzerdefinierten Einstellungen:
   1. Suchen Sie die Funktion getServerURL (). Ändern Sie den Rückgabewert mit dem Host und dem Port Ihrer LoadTest Continuum-Installation.
   2. Suchen Sie die Funktion getProjectName (). Ändern Sie den Rückgabewert mit dem Namen des Projekts, das Sie im Widget verfolgen möchten.
5. Klicken Sie auf Erstellen.

Schritt 5 – Überprüfen und analysieren Sie die Ergebnisse der Leistungstests

Parasoft LoadTest Continuum dient sowohl als Erfassungspunkt für Ihre LoadTest-Berichte als auch als Analysetool, das Lasttestdaten aus mehreren Läufen organisiert. LoadTest Continuum organisiert die Daten in einer Informationspyramide, mit der Sie Ihre Leistungstestergebnisse auf verschiedenen Detailebenen überprüfen können, von allgemeinen täglichen Zusammenfassungen oben über QoS-Metrikergebnisse im Kern bis hin zu detaillierten Lasttestberichten oben Unterseite:

Betrachten Sie den folgenden Workflow als Beispiel für eine regelmäßige (tägliche) Testüberprüfung:

1. Führen Sie bei fehlgeschlagenen Tests die folgenden Schritte aus:
   1. Öffnen Sie die Ansicht "Testverlauf" und überprüfen Sie, ob der Test regelmäßig oder sporadisch fehlgeschlagen ist. Der erste Fall würde wahrscheinlich auf eine Regression hinweisen; der zweite Fall eine Instabilität.
   2. Überprüfen Sie die fehlgeschlagenen Metriken des Tests:
      1. Öffnen Sie für eine numerische Metrik die Diagrammansicht des Metrikverlaufs. Verwenden Sie das Metrikverlaufsdiagramm für Einblicke. Wenn beispielsweise ein Test, zu dem die Metrik gehört, instabil ist, weisen kleine Schwankungen des Metrikgraphen normalerweise darauf hin, dass der Metrikschwellenwert angepasst werden muss. Große Schwankungen weisen auf Probleme mit Code oder Infrastruktur hin.
      2. Öffnen Sie den Link Alle Diagramme dieses Tests. Überprüfen Sie die Diagramme anderer numerischer Metriken für denselben Test auf Schwankungen, die den Metrikschwellenwert nicht überschritten haben.
2. Wenn Sie die LoadTest Continuum DTP-Widgets nicht eingerichtet haben, überprüfen Sie zunächst die Erfolgs- / Fehlerzusammenfassungen der Tests und Metriken auf der Hauptprojektseite des LTC.
3. Folgen Sie bei Projekten mit Fehlern dem Link zur LTC-Projektseite, um die Details zu überprüfen.
4. Beginnen Sie mit der Überprüfung des Status Ihrer letzten Auslastungstestläufe in den LoadTest Continuum DTP-Widgets.
5. Machen Sie dasselbe für den Link Alle Diagramme dieser Metrik, um zu überprüfen, ob ähnliche Metriken anderer Tests betroffen waren. Wenn ja, weist dies auf ein Systemproblem mit Ihrer Anwendung oder Infrastruktur hin, das nicht auf einen einzelnen Test beschränkt ist (siehe Abb. 4).
6. Für eine eingehendere Analyse öffnen Sie die HTML- oder binären Lasttestberichte des fehlgeschlagenen Tests.

Die Integration eines Leistungstestprozesses in die Pipeline für die kontinuierliche Bereitstellung ist für die Sicherstellung der Softwarequalität von entscheidender Bedeutung. Um diesen Prozess optimal nutzen zu können, müssen Sie einen effektiven Mechanismus für die Automatisierung der Analyse von Leistungstestergebnissen einrichten.

Seien Sie kontinuierlich mit Parasoft

Erreichen Sie all Ihre anspruchsvollen Ziele bei der Automatisierung der Testergebnisanalyse mit Parasoft LoadTest und LoadTest Continuum innerhalb von Parasoft SOAtest. Diese Tools bieten eine ausgefeilte Automatisierung im Bereich des Funktionstests, sodass Sie Software von höherer Qualität liefern können.