8 key performance indicators
In diesem Artikel werden 8 wichtige Leistungsindikatoren für Qualitätsversionen mithilfe der End-to-End-Testlösung von Panaya Test Dynamix erläutert:
Es ist kein Geheimnis, dass die Software-Qualitätsmanager einem zunehmenden Druck ausgesetzt sind, qualitativ hochwertige Software mit einer Rekordgeschwindigkeit bereitzustellen.
Wofür ist C ++?
Die Frage, die wir uns alle oft stellen, lautet: „Wie messen wir unseren Erfolg?“ An der Softwarequalität?
Die Markteinführungsgeschwindigkeit ist eine viel einfachere Berechnung. Die Messung unserer Leistung bei der Bereitstellung hochwertiger Software hängt jedoch von einer Vielzahl von Faktoren ab, wie z. B. der Projektmethodik (Wasserfall, Hybrid, Agilität), der Komplexität der Software und dem technischen Niveau Schulden, die Anzahl der Schnittstellen und vieles mehr.
Kurz gesagt, die Anzahl der Variablen, die auf einem akzeptablen Niveau von hochschwere Defekte sollte nicht unterschätzt werden. Um auf diesem Markt bestehen zu können, müssen wir uns daher sowohl in unseren Meinungen als auch in unseren Messstäben kontinuierlich weiterentwickeln.
Aus diesem Grund habe ich diese Liste der acht wichtigsten KPIs entwickelt, die Sie Ihrer Qualitäts-Scorecard hinzufügen und mit der Nachverfolgung beginnen sollten, um das Veröffentlichungsrisiko zu verringern, die Qualität zu verbessern und Ihren Erfolg sofort zu messen.
Was du lernen wirst:
- Wichtige Leistungsindikatoren für Qualitätsfreigaben
- Was Sie sonst noch über diese Lösung wissen sollten
- Fazit
- Literatur-Empfehlungen
Wichtige Leistungsindikatoren für Qualitätsfreigaben
# 1) Wirksamkeit der Fehlererkennung (DDE, Prozentsatz der AKA-Fehlererkennung)
Dies ist ein Maß für Ihre allgemeine Regressionstests Wirksamkeit. Sie wird als Verhältnis der vor und nach der Freigabe durch Ihre Kunden festgestellten Mängel berechnet.
Nach der Freigabe festgestellte Fehler werden normalerweise als bezeichnet 'Zwischenfälle' und werden in einem Helpdesk-System protokolliert, während die während der Testphasen festgestellten Fehler ( Z.B. , Unit, System, Regression oder UAT) werden vor der Veröffentlichung identifiziert und mit den Tools wie dokumentiert Panaya Test Dynamix .
Um diesen KPI richtig zu berechnen, sollten Sie immer die Softwareversion kategorisieren, in der jeder Fehler identifiziert wurde, bevor Sie ihn in Ihre Produktionsumgebung freigeben.
Die häufig für DDE verwendete Formel:
Anzahl der in der Softwareversion identifizierten Fehler /
Anzahl der Fehler in der Softwareversion + vom Endbenutzer festgestellte Fehler (Z.B., Vorfälle)
Hier ist eine einfache Illustration:
Angenommen, während Ihres Regressionstestzyklus in diesem letzten monatlichen SAP Service Pack wurden 95 Fehler gefunden und 25 Fehler wurden nach der Veröffentlichung protokolliert. Die DDE würde berechnet als 95 geteilt durch (95 + 25) = 79%.
Beachten Sie, dass die DDE mit einem Liniendiagramm überwacht werden sollte, das am Tag nach der Freigabe für die Produktion zu 100% beginnt. Wenn Ihre internen Endbenutzer und Kunden beispielsweise mit Ihrem neuesten SAP Service Pack arbeiten, werden sie unweigerlich einige Vorfälle protokollieren.
Ich habe die Erfahrung gemacht, dass innerhalb der ersten Woche 2 Tage, nachdem ein Service Pack die produktive Umgebung erreicht hat, ein „Fütterungsrausch“ auftritt. In diesem Fall werden Sie einen schnellen Rückgang von 100% auf etwa 95% feststellen, wenn Vorfälle protokolliert werden. Wenn sich in Ihrem Unternehmen eine monatliche Service Pack-Release-Trittfrequenz befindet, messen Sie die DDE für jeden Service Pack für einen Zeitraum von 30 Tagen.
Wenn Ihr Unternehmen jedoch nur vier (4) Hauptversionszyklen pro Jahr ausführt, messen Sie diese 90 Tage lang, um festzustellen, wie sie in diesem Zeitraum abnehmen.
Was ist eine „gute DDE“?
Es ähnelt den Blutdruckwerten, die jede Organisation und Person im Laufe der Zeit entwickelt.
Obwohl die medizinische Gemeinschaft den „optimalen“ Blutdruckwert auf 120/80 definiert, ist es natürlich, dass der systolische Blutdruck mit zunehmendem Alter ansteigt. Mit DDE ist bekannt, dass Branchenkenner und Vordenker sagen, dass 90% in den meisten Branchen lobenswert sind.
Ich habe jedoch gesehen, dass Unternehmen auf konsistenter Basis> 95% DDE erreichen, indem sie mit Tools zur Simulation von Auswirkungen auf Änderungen wie z Panayas Wirkungsanalyse .
# 2) Systemweite Defekte (SWD)
Haben Sie jemals mehrere Fehler festgestellt, die denselben Objekten zugeordnet sind? Sicher hättest du. Es ist ein weit verbreitetes Phänomen, auf das viele Testmanager stoßen.
bester PC-Reiniger für Windows 7
Plötzlich sehen Sie einen enormen Anstieg der Anzahl der in einem UAT-Zyklus gemeldeten Fehler. Glücklicherweise wette ich, dass Sie von dem Typ sind, der alle 15 Minuten Fehler überwacht und die Duplikate manuell „verknüpft“ oder jede einzelne Beschreibung durchliest, um die Grundursache selbst zu erkennen, oder? Zweifelhaft.
Welche Möglichkeiten haben Sie, um das unvermeidliche Drama der „Defektinflation“ zu bewältigen?
Das Drama, das sich aus diesem nächtlichen Rückblick mit der Leitung des Hauptquartiers ergibt, über 'Warum heute so ein plötzlicher Anstieg der Mängel?' (Pause… Tief durchatmen, bevor ich antworte)… „Ich arbeite gerade mit unseren funktionalen Leitern zusammen, um eine manuelle Ursachenanalyse durchzuführen.
Wir sind jedoch der Meinung, dass sich viele der Probleme auf ein gemeinsames Problem beziehen, das jedoch noch nicht identifiziert wurde. “, Kommt Ihnen das bekannt vor?
Mein Vorschlag ist, dass Sie anfangen zu verfolgen, was Panaya anruft 'Systemweite Defekte' . Das manuelle Verfolgen dauert ewig - glauben Sie mir, ich habe es schon oft versucht. Es ist auch schmerzhaft, ältere ALM-Tools zu verwenden, bei denen Sie nur noch die Möglichkeit haben, die Fehler miteinander zu verknüpfen und einen Kommentar hinzuzufügen.
Wow, das hat wirklich geholfen! (Spüren Sie den Sarkasmus?). Wenn Sie jetzt keine Auswahl an Tools haben, müssen Sie sich die Zeit nehmen, um systemweite Fehler ordnungsgemäß zu verfolgen und klar zu „erklären“. warum sich die Bug-Trendlinie gegen Ende eines Testzyklus nach oben und nicht nach unten bewegt.
Wenn Sie eine Chance haben, schauen Sie sich Panaya Test Dynamix an. In die Engine selbst ist SWD integriert, die die SWD automatisch für Sie berechnet.
Das Spinnennetz - Diese leistungsstarke und dennoch einfache Darstellung der 6 zusätzlichen Leistungsindikatoren, die sich im „Risiko-Cockpit“ dieser Plattform befinden, rundet die wichtigsten KPIs ab, die jeder Qualitäts-, Test- und Release-Manager verfolgen sollte.
# 3) Anforderungserfüllung
QS-Manager verstehen das Risiko auf einer tieferen Ebene, die nur mit einem Code oder einer Transparenz auf Transportebene realisiert werden kann, die für jede Anforderung aufgerollt ist. Dies erfordert die richtigen Werkzeuge.
Das Panaya-Tool erfüllt die Anforderungen von SAP-Unternehmen, die nach intelligenten Vorschlägen für Komponententests und Risikoanalysen auf der Grundlage von Transportaktivitäten suchen.
Diese Tracking-Ebene ist innerhalb von verfügbar Panaya Release Dynamix (RDx) .
# 4) Entwicklungsabschluss
Wir leben in einer Zeit, in der Kunden der König sind und dies die Strategie jedes Unternehmens zur digitalen Transformation vorantreibt. In der heutigen Zeit können wir es uns nicht leisten, uns in unserem Denken oder unserem organisatorischen Ansatz zur Qualitätssicherung und -bereitstellung von Software zu verstecken.
Unsere traditionellen ALM-Modelle von gestern wurden nicht für das kontinuierliche Liefermodell von heute entwickelt. Um dieser alten Denkweise entgegenzuwirken, müssen sich QS- und Testmanager in die Aktion der Anwendungsentwicklung einbetten, was bedeutet, dass sie einen Impuls für die Bereitstellung von User Stories haben.
Es reicht nicht aus, zu warten, bis eine User Story den Status 'Fertig' erreicht hat. Vielmehr müssen wir die Entwicklung einer User Story verfolgen, an täglichen Scrum-Meetings teilnehmen und offen über die Risiken sprechen, die sich aus wichtigen Änderungen an der zu testenden Anwendung ergeben.
# 5) Testplanabdeckung
Dies ist einer meiner bevorzugten KPIs, da ich nicht nur das System, die Integration, die Regression und die UAT-Abdeckung verfolgen muss.
Im wahren Geiste der Linksverschiebung habe ich begonnen, über die Bedeutung der Verfolgung der Abdeckung von Unit-Tests zu beraten. Klingt verrückt, oder? Dies ist nicht der Fall, insbesondere wenn Sie über die richtigen Tools verfügen, um die Durchführung von Komponententests allein zu vereinfachen, sondern sogar die Erfassung der tatsächlichen Ergebnisse (Beweise) erleichtert.
Mit der integrierten Testaufzeichnungs- und Wiedergabefunktion von Panaya Test Dynamix wird Ihre Teilnahme an Unit-Tests in die Höhe schnellen. Sie können nicht nur stolz eine Anforderungsrückverfolgbarkeitsmatrix anzeigen, die eine End-to-End-Abdeckung zeigt, sondern auch die tatsächlichen Ergebnisse Ihrer Prüfungsabteilung von der Einheit bis zum Regressionstest problemlos anzeigen.
# 6) Risikoanalyse ändern
Jede Änderung, die wir an einer zu testenden Anwendung vornehmen, birgt ein Risiko. Wir wissen jedoch nicht immer, ob wir die richtigen Dinge testen.
Viele Organisationen haben ihre eigene Definition dessen, was „Änderungsrisiko“ für sie bedeutet. Im „Risiko-Cockpit“ von Panayas Release Dynamix (RDx) können Sie das Rätselraten bei der Verfolgung der Änderungen mit einer Auswirkungsanalyse für Ihr Projekt oder die nächste Version vereinfachen.
RDx berechnet systematisch das Risiko für jede Anforderung und hält Sie auf dem Laufenden, wie es sich ändert, wenn Sie sich weiter in den Lieferlebenszyklus hineinbewegen.
# 7) Testausführungsrisiko
Es ist für alle Unternehmen zu üblich, KPIs wie erstellte Tests, bestandene Tests, automatisierte Tests und ausgeführte Tests zu verfolgen. Wie sieht es jedoch mit der Verfolgung der tatsächlichen Schritte aus, die in den einzelnen Tests ausgeführt werden?
Wie öffnet man JAR-Dateien?
Haben Sie jemals bemerkt, dass viele der beliebte ALM-Plattformen Bieten Sie keine sofort einsatzbereiten Berichtsfunktionen an, um den Fortschritt der Testausführung zu verfolgen? Wenn Sie viele verschiedene Übergaben in einem haben UAT-Zyklus Es ist sinnvoll, das Risiko und den Status der Testausführung nicht nur auf Testebene, sondern auch auf Geschäftsprozessebene zu verfolgen.
Panaya Test Dynamix macht das sofort.
# 8) Fehler bei der Ausführung
Tracking-Defekte haben von Natur aus auch eine negative Konnotation.
Neben der Verfolgung aktiver Fehler, pro Tag behobener Fehler, die zurückgewiesen wurden, und schwerwiegender Fehler empfehlen wir auch, die Behebung von Fehlern zu überwachen, da diese sich auf die festgelegten Anforderungen beziehen.
Viele Organisationen sehen die Fehlerbehebung nicht bedarfsorientiert.
Warum diese Lösung zum Testen?
Mit einer durchgängigen Rückverfolgbarkeit, die sowohl in Release Dynamix als auch in Panaya Test Dynamix integriert ist, kann Ihr Unternehmen den Workflow der Fehlerbehebung von Anfang bis Ende auf der Anforderungsebene verfolgen.
Dies ist besonders hilfreich für Release-, Qualitäts- und Testmanager, die ein Projekt oder einen Release-Zyklus aus der Vogelperspektive betrachten möchten.
Panaya beschleunigt den Testprozess für technische IT- und Geschäftsanwender und reduziert so den gesamten Testaufwand um 30-50%:
- Manager: Echtzeit-Warnungen für Tests und Fehler sowie zur Vermeidung von Engpässen.
- Geschäftsanwender: Automatisierte Dokumentation von Testnachweisen und -fehlern.
- Funktionsanalysten: Automatisierung sich wiederholender Testaktivitäten.
- Professionelle Tester: Verbessert nahtlos die Erfassung von Geschäftswissen.
- Fehlerlöser: Reduziert mit den Testern hin und her.
Was Sie sonst noch über diese Lösung wissen sollten
# 1) Panaya Test Dynamix ist eine SaaS-Lösung Dies bedeutet, dass Sie eine nahtlose Integration, häufige und schmerzlose Upgrades sowie die Überwachung von lokalen Automatisierungstools erhalten.
# 2) Integrierte Tools für die Zusammenarbeit Optimieren Sie Testzyklen mit integrierten Benachrichtigungen und Kommunikationstools.
Durch die automatische Übergabe der Testschritte an den nächsten Benutzer werden Leerlaufzeiten vermieden, Engpässe bei der Arbeitslast behoben und optimale Arbeitsabläufe sichergestellt.
# 3) Intelligentes Fehlermanagement ermöglicht Benutzern die zentrale Überwachung von Fehlern, deren Behebung und den von ihnen betroffenen Geschäftsprozessen.
Wenn ein Fehler gefunden wird, werden automatisch alle anderen betroffenen Tests identifiziert und Benachrichtigungen blockiert oder an Tester gesendet, bis der Hauptfehler behoben ist. Der behobene Fehler wird automatisch geschlossen, indem der Fehlerstau beseitigt wird.
# 4) Mit einem geschäftsprozessorientierten Ansatz für UAT und SIT, funktionsübergreifende und geografisch verteilte Fachexperten validieren UAT-Zyklen basierend auf den tatsächlichen Geschäftsprozessen (verpackte Anwendungen).
# 5) Testen Sie die Automatisierungssteckverbinder Bereitstellung einer vollständigen Integration von Panaya Test Dynamix in die vorhandenen Automatisierungstools für effektive Regressionszyklen in minimalem Zeit- und Arbeitsaufwand mit ganzheitlichen Verfolgungs- und Überwachungsfunktionen.
# 6) Test Evidence Automation automatisiert manuelle Tests, die traditionell in Excel und Word verwaltet werden.
Spart Zeit, indem mühelos jede Testausführung dokumentiert wird - einschließlich Testnachweisen und einer Aufzeichnung der Schritte für die Testreproduktion, während das Hin und Her zwischen Entwicklern und Testern reduziert wird. Dokumentation ist prüfbereit stellt die Einhaltung aller internen und externen Qualitätsstandards sicher.
# 7) Autonomes TestenSM für SAP Ermöglicht die Erstellung und Wartung von Testfällen ohne Berührung, sodass Sie sich nicht mehr mit den Problemen befassen müssen, die mit der Erfassung von Geschäftswissen und dem Erstellen und Verwalten von manuell erstellten Skripten verbunden sind.
Skripte sind anpassbar, während maschinelles Lernen Validierung und Vorschläge basierend auf Crowd-Analysen bietet.
# 8) Automatisierte Erfassung von Geschäftswissen - Omega Erstellt automatisch reale Testfälle basierend auf Business User-Aktivitäten, die mithilfe von Algorithmen für maschinelles Lernen (SAP) nahtlos in der Produktion erfasst werden.
Fazit
Die Software-Qualitätsmanager und alle relevanten Stakeholder können ihre Test-KPIs erfüllen, um mehr Innovation voranzutreiben und gleichzeitig den Aufwand um 30-50% zu reduzieren, ohne Kompromisse bei Umfang oder Qualität mit Panaya einzugehen.
Standardisiert den Testprozess und misst den Erfolg, da alle Beteiligten dieselbe Testmethode anwenden, um Echtzeit-Transparenz über alle Testzyklen, einschließlich UAT in großem Maßstab, zu erhalten.
Weitere Informationen finden Sie unter Panaya Test Dynamix .
Teilen Sie uns Ihre Gedanken / Fragen in den Kommentaren unten mit.
Literatur-Empfehlungen
- Was sind die Qualitätsmerkmale?
- MongoDB-Leistung: Sperren der Leistung, Seitenfehler und Datenbankprofile
- Unterschied zwischen Qualitätssicherung und Qualitätskontrolle (QA vs QC)
- Falscher Gott der Qualität gegen wahre Menschen - Wer ist für die Softwarequalität verantwortlich?
- Georgia Tech standardisiert seine Leistungstests auf RadView WebLOAD
- HTTP vs HTTPS: Ein detaillierter Vergleich von Funktionen und Leistung
- Unterschied zwischen Leistungstestplan und Leistungsteststrategie
- Wie führe ich manuelle Leistungstests durch?