Multivariates Testen und vereinfachtes A / B-Testen: Testen von Techniken zur Webseitenoptimierung

multivariate testing

Einführung:

Es gibt viele Websites und Anwendungen, die wir häufig verwenden. Während wir sie verwenden, achten wir wahrscheinlich nicht besonders darauf, wie die Website zu ihrer aktuellen Version wurde. Wenn andererseits etwas nicht richtig erscheint, werden wir die Website / App wahrscheinlich nie wieder besuchen.

Die Frage ist: Was braucht es, um „es“ richtig zu machen?

Was du lernen wirst:

• Multivariate Tests und A / B-Tests
• Was ist multivariates Testen?
• Arten von MVT-Tests:
• So führen Sie multivariate Tests durch
• Fehler, die vermieden werden sollten
• Verhaltensregeln
• Vor-und Nachteile
• A / B-Tests
• Vor- und Nachteile von A / B-Tests:
• A / B-Tests gegen multivariate Tests gegen Split-Tests
• Multivariates Testen
• A / B / Split / Multivariate Test-Tools
• Literatur-Empfehlungen

Multivariate Tests und A / B-Tests

Das „Es“ ist am häufigsten die Funktionalität - die wir durch solide QS-Prozesse testen und bewerten müssen. Aber das 'es' auch besteht aus Design, einer Kombination von Elementen, Platzierung von Inhalten auf einer Seite, manchmal sogar Farbe, Ausrichtung usw., die eine herausragende Rolle in der Gesamtakzeptanz des Produkts von seinem Endbenutzer.

Ein Testzweig, der in diesem Bereich sehr hilfreich sein kann, ist der Multivariate Tests und A / B-Tests .

Im heutigen Artikel werden wir diskutieren Multivariate (MVT) Tests und A / B-Tests Typen im Detail.

Beide zielen auf die Optimierung von Webseiten und die Verbesserung der Conversion-Rate (die Rate, mit der Besucher Kunden werden oder wiederkehrende Besucher - wiederum Unternehmen) für eine Website ab.

undefinierter Verweis auf die Klassenfunktion c ++

Was ist multivariates Testen?

Beginnen wir mit einem Beispiel .

Wenn eine bestimmte Website daran arbeitet, die Effektivität einer Seite zu entwerfen / neu zu gestalten / zu bestimmen, die ein Bild und den entsprechenden Text enthalten soll - Nach sorgfältiger Prüfung und Überlegung, wenn das Unternehmen die folgenden zwei Bilder und zwei Sätze in die engere Wahl zieht - könnten die möglichen Kombinationen davon wie folgt sein:

1) Bild 1

2) Bild 2

3) Überschrift / Satz 1: 'Das Ziel müssen NULL Unfälle sein'

4) Überschrift / Satz 2: 'Unser Ziel: Kein Unfall'

Kombinationen:

Im obigen Beispiel haben wir Variationen der Feldkombinationen getestet, um festzustellen, welches gut passt. Einfach gesagt, genau dort gibt es multivariate Tests.

Technischer und spezifischer wird die folgende Formel verwendet, um die Nr. Zu bestimmen. von möglichen Kombinationen, die erforderlich sind, um die verschiedenen Kombinationen zu testen, und das heißt:

(# Variationen an Element A) X (# Variationen an Element B)… .. = (Total # Variationen)

Im obigen Beispiel gibt es 2 Variationen für die Überschrift sowie 2 Variationen für das Bild.

Somit gibt es gemäß der Formel insgesamt 4 Kombinationen der Variationen, die gleichzeitig getestet werden müssen, um die beste Variationskombination zu finden.

• Das Hauptziel der Durchführung multivariater Tests besteht darin, die Wirksamkeit jeder Variationskombination im endgültigen System zu messen und zu bestimmen.
• Nach Abschluss der Variationskombinationen wird der Test zur Ermittlung des erfolgreichsten Entwurfs eingeleitet, sobald genügend Verkehr von der Site empfangen wurde.
• Die mit jeder Variationskombination erzielten Ergebnisse werden mit den anderen verglichen, um herauszufinden, welches Design am besten geeignet ist, um das endgültige Ziel zu erreichen (in den meisten Fällen) Der Umsatz ).
• Diese Statistiken geben ein klares Bild davon, ob die jeweilige Änderung hilfreich war oder nicht.
• Außerdem können positive oder negative Auswirkungen auf die Interaktion des Benutzers analysiert werden

Dieser gesamte Prozess des kontinuierlichen multivariaten Testens, der Verbesserung des Designs basierend auf den erzielten Ergebnissen und der Erreichung der Geschäftsziele aufgrund dessen ( Beispiel: längere Einwirkzeit für einen Benutzer auf einer bestimmten Seite) wird aufgerufen Zielseitenoptimierung - - deren Ziel es ist, mehr Benutzer zu gewinnen und sie auf einer bestimmten Seite zu beschäftigen.

Dieser Prozess umfasst hauptsächlich das Testen mit mehreren Variationen, das Sammeln von Statistiken und das Vornehmen von Änderungen basierend auf den erhaltenen Werten / Ergebnissen.

Nicht nur auf Websites beschränkt, sondern auch für mobile Apps sind multivariate Tests erforderlich. Websites und mobile Apps bestehen aus Kombinationen variabler Elemente. Daher werden multivariate Tests durchgeführt, um herauszufinden, welche Kombination von Variationen am besten funktioniert.

Dies spielt eine entscheidende Rolle in der Internet-Marketing-Strategie.

Arten von MVT-Tests:

Basierend auf der Verteilung des Datenverkehrs auf mehrere Variationsversionen gibt es mehrere Arten von multivariaten Tests das kann durchgeführt werden:

a) Vollständige faktorielle Prüfung:

Dies ist die am meisten bevorzugte Form des MVT-Tests, bei der jede mögliche Kombination von Elementvariationen gleichermaßen getestet wird, indem der Website-Verkehr darauf umgeleitet wird, bis ein Gewinner gefunden wird. Alle möglichen Kombinationen erhalten die gleiche Wahrscheinlichkeit. Das Beste an dieser Methode ist, dass es keine Annahmen gibt und sie auf harten Zahlen / Statistiken basiert, was sie sehr zuverlässig und am empfehlenswertesten macht.

Der einzige Nachteil ist der Verkehr. Mit der Zunahme der Anzahl verschiedener Kombinationen ist viel Website-Verkehr erforderlich, um die Daten zu analysieren und den Gewinner zu bestimmen.

b) Bruch- oder Teilfaktortests:

Wie der Name schon sagt, ist nur ein Bruchteil aller Versionen von Variationskombinationen dem Website-Verkehr ausgesetzt. Für den Rest der Kombinationen werden statische mathematische Berechnungen und Analysen durchgeführt, um die beste Conversion-Rate zu ermitteln.

Taguchi-Methode ist die beliebteste Methode für fraktionierte faktorielle multivariate Tests. Diese Methode liefert ein weniger genaues Ergebnis, da nur eine Stichprobe der Variationen getestet wird und nicht alle. Obwohl diese Methode weniger Zeit benötigt, um den Gewinner zu analysieren, kann das Ergebnis niemals als so genau angesehen werden wie im Fall eines vollständigen faktoriellen Tests.

c) Adaptives multivariates Testen:

Dies ist ein neuer Ansatz für multivariate Tests. In diesem Fall wird die Echtzeitantwort der Besucher auf der Webseite analysiert, um die beste Version der Variationskombination zu ermitteln.

d) Diskrete Wahl:

Diese Methode deckt die Interaktionseffekte auf, beispielsweise wie Menschen aus der Perspektive einer Kaufentscheidung einen Kompromiss eingehen. Es ist eine komplexe Technik, die die Attribute oder Inhaltselemente systematisch variiert.

e) Optimales Design:

Diese Methode umfasst Iterationen und Testwellen. Zusätzlich zum Testen der maximalen Anzahl kreativer Variationen in kürzester Zeit können Marketer auch Beziehungen, Interaktionen und Einschränkungen über Inhaltselemente einer Website oder App hinweg berücksichtigen. Dies hilft bei der Suche nach der optimalen Lösung.

Vorlage für einen Automatisierungstestplan für Selen

Kommen wir weiter zu einer wichtigen Frage: Kann Web-Marketing durch multivariate Tests optimiert werden?

Die Antwort ist ein klares „Ja“.

Mit multivariaten Tests können wir klar bestimmen, was implementiert werden soll und was vermieden werden soll. Alles ist auf das Erlebnis des Besuchers ausgerichtet.

Die folgenden Aspekte werden bei der Durchführung multivariater Tests berücksichtigt:

# 1. Voraussetzung für multivariate Tests ist: Definieren Sie Marketingziele oder überprüfen Sie die Ziele für die Website. Im Folgenden sind einige Beispiele aufgeführt:

• Machen Sie maximale Einnahmen / Gewinne durch Werbung, Verkauf von Produkten und Bezahlung von Klicks.
• Schaffen Sie Markenbekanntheit in der Kundschaft
• Sparen Sie Ausgaben, z. B.: Führen Sie Benutzer zur Selbstbedienung über FAQs anstatt online im persönlichen Service.

#zwei. Es sollten nur die Dinge getestet werden, die wirklich auf die Marketingziele der Organisation abzielen.

#3. Wählen Sie nur die Elemente aus, die die Marketingziele genau messen.

Beispiele könnten sein:

• Um mehr Geld zu verdienen, sollten die Seiten mit Optionen wie 'Jetzt kaufen' / 'Zahlung' / Flows zum Abschließen einer Registrierung oder Anmeldung im Mittelpunkt stehen.
• Um ein Bewusstsein für Besucher und Werbung zu schaffen, kann 'An einen Freund senden' / 'Freund werben' / 'Teilen' usw. nützlich sein
• Um Einsparungen zu erzielen, können Sie sich auf Elemente wie FAQs, Hilfe, Kontakt, Anruf, 'In den Warenkorb' -Klicks konzentrieren, die zu Dankeseiten führen usw.

So führen Sie multivariate Tests durch

1. Identifizieren Sie ein Problem

Der erste Schritt besteht darin, das Problem zu identifizieren. Dies gibt Ihnen den Umfang der Verbesserung für Ihre Website oder App. Das Problem kann beispielsweise darin bestehen, dass die Website-Besucher nicht auf den Download-Button klicken.

2. Hypothese formulieren

Stellen Sie eine Hypothese zur Verbesserung der Webseite auf. Beispielsweise kann die Hypothese lauten, dass Kunden nicht auf die Download-Schaltfläche klicken, da deren Sichtbarkeit nicht ansprechend ist. Wenn es also ansprechend wäre, würde es vermehrt Downloads geben.

3. Erstellen Sie Variationen

Wählen Sie die Faktoren aus und erstellen Sie Variationen. Angenommen, die beiden Faktoren sind die Überschrift 'Download' und der Link 'PDF-Produzent'. Als Beispiel haben wir unter 12 Variationen:

4. Bestimmen Sie Ihre Stichprobengröße

Finden Sie heraus, wie viele Besucher auf jeder Seite erforderlich sind, wie lange Sie den Test ausführen müssen, wie viele Variationen Sie haben und welche statistische Signifikanz Sie haben.

5. Testen Sie Ihre Werkzeuge

Testen Sie alles (hauptsächlich funktioniert Ihre Webseite / App einwandfrei), bevor Sie den Test ausführen, damit Ihre Testergebnisse durch nichts beeinträchtigt werden.

6. Fahren Sie den Verkehr

Fahren Sie den Verkehr zu Ihren Variationen.

7. Analysieren Sie Ihre Ergebnisse

Nachdem Sie den Test über einen längeren Zeitraum ausgeführt haben, erhalten Sie die zu analysierenden Ergebnisse. Ein Beispiel ist unten gezeigt:

Diejenigen mit einem Konfidenzniveau von 95% oder mehr sind statistisch signifikante Ergebnisse.

8. Lernen Sie aus Ihren Ergebnissen

Dies ist der letzte und wichtige Schritt. Durch den multivariaten Test erfahren Sie mehr über Ihre Webseiten / App und deren Besucher. Sie können dieses Lernen für zukünftige Tests verwenden.

Ein Wort der Vorsicht - Beachten Sie beim Ausführen multivariater Tests die folgenden Punkte:

Fehler, die vermieden werden sollten

1. Unsachgemäße Auswahl der Varianten . Zum Beispiel Angenommen, wir ändern die Schriftgröße, Farbe und den Stil des Überschriftentextes gleichzeitig unter einer Version der Variationskombination. Es wird dann schwierig sein, anhand der erhaltenen Daten zu analysieren, welche Variation der Überschrift (ob Schriftgröße, Farbe oder Stil) den Besucher unterschiedlich reagieren ließ.
2. Zu kurze Zeitspanne eines multivariaten Testlaufs . Das vorzeitige Beenden des Testlaufs und das Auswählen eines kleinen Datenbereichs zur Analyse des Gewinners kann zu ungültigen Statistiken führen.
3. Zu lange Zeitspanne eines multivariaten Testlaufs. Wenn der Test zu lange ausgeführt wird, um die Grenzdaten zu analysieren, wird auch viel Zeit verschwendet
4. Falsches Verständnis der Schlüsselindikatoren. Fokussierung, Analyse und Verfolgung der variablen Kombination der Indikatoren, die für das Endziel unbedeutend oder nicht relevant sind
5. Nur wenige Key Performance Indicators werden identifiziert, während viele andere nicht verfolgt werden
6. Festlegen der Art des Besucherverkehrs auf einer Webseite. Dies kann sehr riskant und problematisch sein, da nicht alle Besucher gleich sind.
7. Die Ergebnisse nicht analysieren und die richtigen Änderungen an der Site vornehmen.

DOS und Don’s

Aus der obigen Liste eine Zusammenfassung von Verhaltensregeln könnte sein:

Don’s:

Versuchen Sie nicht, viele Variablen in den Test einzubeziehen. Je mehr Variablen getestet werden sollen; Je größer die Kombinationen sind, desto mehr Verkehr ist erforderlich, um signifikante Statistiken zu erstellen.

DOS:

1. Zeigen Sie eine Vorschau aller Varianten der Variationskombination an vor dem Start des Testlaufs, da einige von ihnen möglicherweise nicht kompatibel oder unlogisch sind. Eine der variablen Kombinationen besteht beispielsweise aus der Überschrift '50% Rabatt auf Abonnement' und der Aus-Schaltfläche 'Kostenloses Abonnement'. Solche sollten entfernt werden.

2. Entscheiden Sie, wie sich Kombinationsversionen auf die Conversion-Rate auswirken. Es ist eine gute Idee, nur die Kombinationen einzubeziehen, die einen höheren Einfluss auf die Conversion-Rate haben.

3. Schätzen Sie den Webseitenverkehr, um signifikante statistische Daten zu sammeln. Bevor Sie mit dem Testlauf beginnen, sollten Sie sich eine klare Vorstellung vom Webseitenverkehr machen. Wenn eine Webseite nur 100 bis 200 Besucher pro Tag hat, sollten wir einige Variablen nur für die Ausführung des multivariaten Tests berücksichtigen.

Vor-und Nachteile

Bis jetzt haben wir gesehen, was multivariates Testen ist, wie es durchgeführt wird, Fehler, Faktoren, Do's und Don's usw. Lassen Sie uns nun einige betrachten Vorteile und Nachteile davon:

Vorteile:

1. Besserer Einblick und besseres Verständnis der Auswirkung von Variablen oder Elementen auf die Conversion-Rate Mehr Verkehr führt zu mehr statistischen Daten, was wiederum zu einer besseren Analyse und Entscheidungsfindung im Hinblick auf die beste Variablenkombination führt, um das endgültige Ziel zu erreichen.
2. In Bezug auf Design- und Layoutänderungen sind multivariate Tests flexibel.

Nachteile:

1. Multivariate Testläufe dauern länger.
2. Es ist viel Webseitenverkehr erforderlich, um signifikante Statistiken zu erhalten.
3. Das Einrichten von Testläufen ist komplizierter.
4. Erfordert eine größere Anzahl variabler Kombinationsversionen für den Testlauf.

A / B-Tests

Da es sich um eine kurze Liste aller multivarianten Tests handelt, gibt es kein Ende der Vielzahl von Tests, die zur Durchführung der Webseitenoptimierung durchgeführt werden können, und eine weitere beliebte Methode ist die A / B-Tests .

Was ist A / B-Test?

( Bild Quelle)

A / B-Tests werden manchmal auch als bezeichnet Split-Tests . Der Split-Test ist jedoch anders. Wir werden den Unterschied zwischen ihnen im späteren Teil dieses Tutorials sehen.

Beim A / B-Test werden zwei Versionen derselben Webseite mit gleichem Webseitenverkehr getestet. Die Version, die eine maximale Anzahl von Conversions erhält, ist der ultimative Gewinner. Diese neue Version erhöht definitiv die Conversion-Rate.

Beispiel für A / B-Split-Tests:

Arten von Testfällen beim Testen von Software

Lass uns verstehen die Arbeitsweise von A / B-Tests mit einem kleinen Beispiel ::

Das obige Bild ist eine Webseite für Sicherheitsbewusstsein.

Dieses Bild besteht aus einem grauen Knopf mit der Aufschrift „ Nehmen Sie an einem Quiz teil und gewinnen Sie spannende Preise Diese ursprüngliche Webseite wird als 'A-Version' betrachtet. Jetzt ist die B-Version mit einer Variation der Farbe der Schaltfläche von Grau nach Rot gestaltet.

Dies ist im Bild unten dargestellt:

Der Live-Webseitenverkehr wird auf beide Versionen umgeleitet. Nachdem genügend Besucher den Test durchgeführt haben und anhand der erhaltenen statistischen Daten leicht festgestellt werden kann, welche Version einen höheren Einfluss auf die Conversion-Rate hat.

Hier im obigen Beispiel eine Schaltfläche mit der Aufschrift „ Nehmen Sie an einem Quiz teil und gewinnen Sie spannende Preise ”In roter Farbe zog mehr Besucher an, auf den Knopf zu drücken und ein Quiz zu machen als der ältere graue Knopf.

Damit wurde das ultimative Ziel der Webseite erreicht, mehr Umsatz zu erzielen.

Vorteile und Nachteile von A / B-Tests:

Vorteile:

1. Einfache und einfache Methode zum Einrichten von Experimenten zur Webseitenoptimierung.
2. Zuverlässige und genaue Ergebnisse können auch bei geringem Webseitenverkehr leicht ermittelt werden.
3. Tests können sehr schnell durchgeführt und statistische Daten analysiert werden, um das endgültige Ziel zu erreichen.
4. Nicht viel abhängig von irgendeiner Form von Technologie.
5. Eher geeignet für Änderungen in Layout, Inhalt und Design von Webseiten.

Nachteile:

1. Es können jeweils nur wenige oder nur eine begrenzte Anzahl von Änderungen an einer Webseite vorgenommen werden.
2. Es ist nicht möglich, die Auswirkungen verschiedener auf einer Webseite vorhandener Variablen aufeinander zu bestimmen.

Vergleichstabelle:

A / B-Tests gegen multivariate Tests gegen Split-Tests

A / B-Tests, multivariate Tests und Split-Tests sind die drei Haupttypen des UX-Variantentests (User Experience). Mal sehen, wie sie sich voneinander unterscheiden.

Die folgenden zwei Bilder bieten einen sehr guten anschaulichen Vergleich zwischen A / B-Tests und multivariaten Tests.

Multivariates Testen

Split-Tests:

Wir haben hier eine andere Variante, die als Split-URL-Test bekannt ist und viel komplizierter als A / B-Tests ist serverseitige Änderungen , wo wir zwei verschiedene Webseiten haben, die gegeneinander getestet werden. Diese Art des Testens eignet sich gut für Zielseiten, wenn das Designteam entscheiden muss, welche Seite besser funktioniert.

A / B / Split / Multivariate Test-Tools

Für diese drei Arten von UX-Tests stehen auf dem Markt viele Tools zur Verfügung. Ich würde hier einige der besten nennen, die Sie erkunden können. Dies sind Google Optimize, Optimizely, VMO, Qubit, Maxymiser und AB Tasty.

Fazit ::

Beide Methoden, A / B- und multivariate Tests, erhöhen die Conversion-Rate, verbessern die Leistung und optimieren Webseiten und Apps. Beide sind auf ihre Weise nützlich und haben auch ihre einzigartigen Mängel und Herausforderungen. Es liegt an uns, zu identifizieren und zu analysieren, welche Methode am besten zu den Anforderungen passt.

Wir Tester sind hauptsächlich am Testen der Änderungen beteiligt, die zur Implementierung multivariater oder A / B-Tests vorgenommen wurden. Sobald diese Änderungen vorgenommen und getestet wurden, können sie vom Marketing- oder Geschäftsteam in der Produktionsumgebung ausgeführt werden, um die Ergebnisse zu sammeln.

Daher ist es sehr wichtig, dass Tester diese Änderungen sehr sorgfältig testen. Andernfalls sind die Endergebnisse ungenau, was zu enormen Geschäftsverlusten führt, da dies meistens direkt mit dem Geschäftsumsatz zusammenhängt.

Literatur-Empfehlungen

• Beste Software-Test-Tools 2021 (QA Test Automation Tools)
• Testen von Primer eBook Download
• Statisches Testen und dynamisches Testen - Unterschied zwischen diesen beiden wichtigen Testtechniken
• Lasttests mit HP LoadRunner-Tutorials
• Unterschied zwischen Desktop-, Client-Server-Tests und Web-Tests
• Was ist Gammatest? Die letzte Testphase
• Was ist Konformitätstest (Konformitätstest)?
• Software Testing QA Assistant Job