Da mag es überraschen, dass die beste Marketing Message zunehmend durch Tests identifiziert wird. Diese Entwicklung began vor einigen Jahren im Internet. Die “Betreff” Zeilen von E-Mail Nachrichten, der Text einer SMS werden von professionellen Internet Vermarktern heute in überschaubaren Gruppen getestet, bevor umfangreiche Verteiler angesprochen werden. Bei Google Adwords Kampagnen werden Anzeigen rotiert, bis die beste gefunden ist, und die Nachrichten an den Suchenden nach Eingabe eines Keywords in einer Suchmaschine bis zum Kauf eines Produkts werden optimiert. Social Media Marketing geht noch einen Schritt weiter: Lloyd Salmons, Chairman des Internet Advertising Bureau sagt dazu “Social media isn’t just about big networks like Facebook and MySpace, it’s about brands having conversations.”.

Es ist nach unserer Überzeugung nur eine Frage der Zeit, bis der Einfluss des “Performance Marketing” auch die normale Welt erreicht. Auch klassische Werbung kann mit Tests optimiert werden.

Marketingperspektive

Marketing Message Tests sollten heute von allen Marketiers genutzt werden, denn einfache Erfolge sind meist möglich (wenn noch keine ähnlichen Tests durchgeführt wurden). Der Aufwand ist allerdings höher als bei A/B/N Tests, wenn man die langfristige Wirkung auf den Kunden ebenfalls abfragen möchte.

Das Cridon Angebot

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Quelle und Budget für Testpersonen bestimmen

Produkt  oder Service auswählen

• Ausprägung wählen
• Anmutung und Auftreten entwickeln
• Satz sinnvoller “Marketing Messages” definieren

Test planen

• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

Trackingsoftware konfigurieren

Test durchführen: Testpersonen auf Testumgebung lenken

Test auswerten und Testpersonen per Fragebogen interviewen.

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Wir haben Variantentests vor allem im Internet mehrfach begleitet und ausgewertet.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Überwachung der Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Der eigentliche Test sollte von Ihnen oder von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Der technische Aufwand sollte nicht unterschätzt werden.

Viele Marketiers sind begeistert von den Optimierungsmöglichkeiten und vergessen dabei statistisch korrekte Auswertungen durchzuführen. Somit kann es zu “Optimierungen” kommen, die die Situation verschlechtern.

Verantwortung

Marketing oder Produktmanagement.

Voraussetzungen

Sorgfältige Vorbereitung und Durchführung der Tests im operativen Betrieb.
Note: There is a print link embedded within this post, please visit this post to print it.

Diese Tests kann man auf verschiedene Art und Weise durchführen. Zunehmender Beliebtheit erfreut sich die Verwendung “verdeckter” Kunden, die sich nicht als Testkunden zu erkennen geben. “Mystery Shopping” ist hierfür ein Begriff . Auch hat sich hier bereits eine internationale Allianz gebildet. Die Mystery Shopping Provider Association versucht am Renomee dieser Tests zu arbeiten.

Denn vor allem Call Center testeten so auch die eigenen Mitarbeiter und gaben dies erst beim Jahresgespräch zu erkennen. Mittlerweile sind Mystery Calls aber ein weit verbreitetes Mittel um z.B. Benchmarkstests durchzuführen die verschiedenen Dienstleister miteinander vergleichen.

Dieses Prinzip lässt sich verallgemeinern. Ein umfassender Kundenservicetest verwendet deshalb nicht nur die Kontaktkanäle Internet und Telefon, sondern bedient sich aller Medien um alle Touchpoints mit Kunden zu untersuchen. Siehe White-Paper zu Prozesstests.

Marketingperspektive

Vorausschauende Unternehmen führen Kundenservicetests in jedem Fall dann durch, wenn unabhängige Tests zu erwarten sind, oder wenn sich Ihre Produkte sich nicht grundlegend vom Wettbewerb unterscheiden.

Umfragen z.B. zur Kundenzufriedenheit sind weniger aufwendig, haben aber deutlich weniger Aussagekraft. Zumeist werden diese Umfragen in standardisierter Form durchgeführt, die vor allem auf Auswertung Wert legen. Viele Kunden stehen diesen Umfragen mittlerweile skeptisch gegenüber.

Das Cridon Angebot

Cridon hat beim Aufbau einiger Customer Care Einheiten umfassend unterstützt, und auch die Auswahl von Dienstleistern für den Kundenservice oder für die Kundenakquise begleitet. Deshlab sind uns die Qualitätsmaßstäbe im Kundenservice vertraut.

Unser High-Level Projektplan

Ziel definieren
(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen
• Quelle und Budget für Testpersonen bestimmen
• Testmarkt wählen
• Voraussetzungen bei Testkunden prüfen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

• Ausprägung wählen
• Anmutung und Auftreten entwickeln

Test planen

• Testcases und/oder Testszenarien definieren
• Testdaten vorbereiten
• Fragebogen gestalten und abstimmen
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Systeme zum Test bereitstellen
• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren
• Prototypen erstellen
• Elektronische Weiche und Landing Pages einrichten
• Shop, Regale, Verpackungen vorbereiten
• Umfragewerkzeug kontrahieren oder konfigurieren

Testlabor bereitstellen

• Testsysteme bereitstellen
• Testanordnung (Regale, Stand, …) vorbereiten
• Testpersonal einplanen

(Labore können auch Testregale beinhalten!)

Zusaätzliche Daten einholen

• Wettbewerb und Benchmarks analysieren
• Panels, Umfragen und Statistiken einsehen
• Berichte zu Unternehmensdaten anfordern

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren
• Laborsysteme konfigurieren (Eye + Tastatur Tracker)
• Remotesysteme konfigurieren (Remote Tastatur Tracker)
• Groben Fragebogen (nach dem Test) erstellen

Test durchführen

• Testfahrplan abarbeiten
• Testpersonen auf Testumgebung lenken
• Testplattformen nutzen
• Kunden ansprechen, anrufen oder anschreiben

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Wir haben Kundenservicetests mehrfach begleitet und ausgewertet.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Überwachung der Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Der eigentliche Test sollte von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Eine repräsentative Kundengruppe ist erforderlich. Testen zu wenige Kunden, oder nur Kunden eines bestimmten Typs, dann werden die Schlussfolgerung irreführend sein. Dieses Risiko ist bei Umfragen zur Kundenzufriedenheit häufiger gegeben.

Es können Akzeptanzprobleme bei der Belegschaft auftreten, wenn nicht hinreichend kommuniziert wird, dass es um die Verbesserung der übergreifenden Qualität geht, und nicht einzelne Mitarbeiter kritisiert werden sollen.

Verantwortung

Kundenservice, Customer Care oder Marketing.

Voraussetzungen

Sorgfältige Vorbereitung und Durchführung der Tests im operativen Betrieb.
Note: There is a print link embedded within this post, please visit this post to print it.

Wir sehen deutlichen Bedarf für den Test von Services. Die deutsche Post lässt Kunden anrufen und möchte die durchschnittlichen Zustelllaufzeiten ermitteln. Die deutsche Bahn prüft die Pünktlichkeit von Zügen. In der Telekommunikation sind die Zeiten bis zur Freischaltung eines Produkts ein bekanntes Thema. Meistens bestätigen die kommunizierten Ergebnisse die Aussage der Unternehmen, dass alles seine Richtigkeit hat.

Wer daran interessiert ist, die angebotene Dienstleistung tatsächlich aus Sicht der Kunden zu prüfen um sie verbessern zu können, muss jedoch auch berücksichtigen, wie Kunden den Service wahrnehmen, ob sie den Service kaufen würden, wenn sie eine Auswahl hätten, oder welche Verbesserungen Ihnen helfen würden.

Diese Fragestellungen sind vergleichbar mit denen eines Produkttests. Nur testen wir kein Produkt, sondern eine Dienstleistung.

Marketingperspektive

Servicetests sind empfehlenswert, wenn die Funktion oder die Akzeptanz einer Dienstleistung kurz vor Abschluss der Entwicklung mit einer kontrollierbaren Testgruppe überprüft werden soll.

Das Cridon Angebot

Eine für eine Zielgruppe repräsentative Testgruppe muss ausgewählt werden und zur Verschwiegenheit verpflichtet werden.

Fragebogen sollten verwendet werden, um die Meinung der Testpersonen abzufragen, oder deren Beobachtung auszuwerten. Diese Fragebögen können standardisiert eingesetzt werden, sinnvoll ist aber deren Anpassung auf den konkreten Test.

Ergebnissen werden klar strukturiert in einem Marketingreport dargestellt. Dieser erhält die wichtigsten Ergebnisse als Entscheidungsvorlage. Details des Tests werden in grafischer Form inklusive einer umfassenden Statistik dargelegt.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Quelle und Budget für Testpersonen bestimmen
• Testmarkt wählen

(Test-)Kunden binden

• Testvertrag abschließen
• Ggf. Termin fixieren

Service auswählen

• Ausprägung wählen

Service bereitstellen

• Ggf. Systeme zum Test bereitstellen
• Verkaufskanal an Testkunden kommunizieren
• Ggf. Elektronische Weiche und Landing Pages einrichten
• Ggf. Shop, Regale, Verpackungen vorbereiten
• Umfragewerkzeug kontrahieren oder konfigurieren

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen: Testpersonen auf Testumgebung lenken

Test auswerten

• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Überwachung der Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Der eigentliche Test sollte von Ihnen oder von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Diese Tests finden oft spät im Entwicklungsprozess statt und beschränken sich auf den Service und testen nicht zugehörige Prozesse. Somit wird nicht die gesamte Nutzererfahrung überprüft.

Verantwortung

Produkt-Management oder Produkt-Development.

Voraussetzungen

Service einsatzbereit. Produktionsnahe Umgebungen oder Live-Umgebung.

Sorgfältige Vorbereitung der Fragebögen und kritische Auswahl der Testpersonen.
Note: There is a print link embedded within this post, please visit this post to print it.

Durch immer bessere Möglichkeiten der Auswertung durch “Business Intelligence” Ansätze, Aufmerksamkeitsstudien durch “eye-tracker” oder Handlungsstudien durch z.B.  ”mouse-tracker” können die Varianten angeboten werden, die den besten Vertriebserfolg versprechen.

Marketingperspektive

A/B Tests sollten heute von allen Marketiers genutzt werden, denn einfache Erfolge sind meist möglich (wenn noch keine ähnlichen Tests durchgeführt wurden). Variantentests mit zwei zu vergleichenden Ausprägungen werden A/B Tests genannt, bei mehr als zwei Parametern spricht man von multivariaten Tests oder A/B/N Tests.

Das Cridon Angebot

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Quelle und Budget für Testpersonen bestimmen

Produkt  oder Service auswählen

• Ausprägung wählen
• Anmutung und Auftreten entwickeln

Test planen

• Testcases und/oder Testszenarien definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Ggf. Systeme zum Test bereitstellen
• Ggf. Organisation zum Test bereitstellen
• Elektronische Weiche und Landing Pages einrichten: Zur Optimierung von Webseiten werden meist zufällig (gesteuert z.B. nach Prozentsätzen) im laufenden Betrieb bestimmte Besucher auf Testseiten gelenkt.
• Shop, Regale, Verpackungen vorbereiten: Die Optimierung des Einzelhandel kann genauso erfolgen, wenn die Produktplazierungen und -verpackungen elektronisch überwacht werden.
• Umfragewerkzeug kontrahieren oder konfigurieren

Trackingsoftware konfigurieren

Test durchführen: Testpersonen auf Testumgebung lenken

Test auswerten

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Wir haben Variantentests vor allem im Internet mehrfach begleitet und ausgewertet.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Überwachung der Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Der eigentliche Test sollte von Ihnen oder von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Der technische Aufwand sollte nicht unterschätzt werden.

Viele Marketiers sind begeistert von den Optimierungsmöglichkeiten und vergessen dabei statistisch korrekte Auswertungen durchzuführen. Somit kann es zu “Optimierungen” kommen, die die Situation verschlechtern.

Verantwortung

Marketing oder Produktmanagement.

Voraussetzungen

Sorgfältige Vorbereitung und Durchführung der Tests im operativen Betrieb.
Note: There is a print link embedded within this post, please visit this post to print it.

Bei diesen Tests wird mit ausgewählten Kunden ein Testvertrag geschlossen, das Produkt oder der Service aber behandelt, als ob offiziell gestartet worden wäre. Dieses Vorgehen ermöglicht es valide Testdaten zu erhalten, und gleichzeitig letzte Schwachstellen im Angebot zu identifizieren, oder bekannte Probleme zu beheben.

Der Friendly User Test unterscheidet sich vom Markttest insofern nur durch die Auswahl der Testkunden.

Marketingperspektive

Friendly Customer Trials kommen zum Einsatz, wenn Produkte oder Services eine sehr komplexe Organisation erfordern, und man sich vermarktungsseitig nicht sicher ist, ob die gewünschte Qualität erreicht wird, oder wie gut das Produkt oder der Service angenommen wird.

Manchmal wird ein Markttest intendiert, aber man ist nicht sicher, wie man den Testmarkt eingrenzt. Dieser Testfall ist nicht sinnvoll.

Das Cridon Angebot

Bereits im Vorfeld des Tests sollte zudem definiert werden, welche Leistungsindikatoren ausgewertet werden, und wann die Markteinführung in Frage kommt.

Grundlegende Testszenarien und Testfälle sollten definiert und abgearbeitet werden. Dies ist sinnvoll, weil die Anzahl der Testteilnehmer oft relativ klein ist.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

Test planen

• Testcases und/oder Testszenarien definieren
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren
• Groben Fragebogen (nach dem Test) erstellen

Test durchführen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Wir haben bereits einige Male komplexe Customer Trials in der Telekommunikation oder bei B-C Angeboten im Internet begleitet. Gerne organisieren wir einen Customer Trial auch für Sie.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Anmerkungen

Risiko

Markttests erfordern die Mitwirkung der kompletten Organisation. Die Organisation dieser Tests kann deshalb präzises operatives Arbeiten erfordern, wenn sich die Vorgehensweisen grundlegend von anderen Angeboten unterscheiden.

Risiken liegen auch im Verbergen des Tests, wenn die frühe Kommunikation nicht erwünscht ist.

Verantwortung

Marketing.
Note: There is a print link embedded within this post, please visit this post to print it.

Vor der Betriebsaufnahme eines neuen Produkts oder eines neuen Service ist es bei komplexen Umgebungen sinnvoll zu prüfen, ob ein Geschäftsprozess überhaupt funktioniert. Dann spricht man von einem Prozess-Integrationstest (PIT).

Allen Prozesstests ist gemein, dass Sie End-to-End durchgeführt werden müssen, um sinnvolle Ergebnisse zu erhalten.

Marketingperspektive

Prozess-Integrationstests liefern erstmals während der Entwicklung eines neuen Produkts oder einer neuen Dienstleistung eine nahezu fertiges System. Prozesstests zeigen auf, an welcher Stelle im Geschäftsprozess Optimierungsbedarf besteht.

Es empfiehlt sich, dieses Tests zu begleiten, um ein erstes Verständnis dafür zu erhalten, ob das Produkt oder die Dienstleistung entsprechend Ihren Erwartungen Kundennutzen generiert.

Das Cridon Angebot

Prozesstests können relativ einfach durchgeführt werden, da man mit im Betrieb befindlichen Einheiten arbeiten kann.

Hier ist das Augenmerk vor allem darauf zu legen, dass der Test repräsentativ ist, und die Auswertung auf der Basis von ausreichend vielen Daten erfolgt und statistisch gesehen korrekt ist.

Prozess-Integrationstests müssen sehr genau vorbereitet werden um einerseits die technische Komplexität hinreichend zu prüfen, und andererseits gestellt Anforderungen zu berücksichtigen.

Da der PIT kurz vor Vertriebsstart durchgeführt wird, ist der Zeitdruck meist hoch. Es empfiehlt sich dann, einen “War Room” einzurichten, in dem der Fortschritt bei der Lösung der wichtigsten Probleme regelmäßig und häufig diskutiert wird.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

Test planen

• Testcases und/oder Testszenarien definieren
• Testdaten vorbereiten
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Systeme zum Test bereitstellen
• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Jürgen H. Stäudtner hat bei o.tel.o communications die Abteilung Prozess-Integrationstest geleitet und unter anderem den Start der Produkte “Intelligent Networks” sowie “o.tel.o und business online” begleitet.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Anmerkungen

Risiko

Bei einem Prozesstest müssen vor allem die Messung und Auswertung professionell erfolgen. Sonst können “Probleme” entstehen, die keine sind aber viel Zeit erfordern.

Der Aufwand für einen Prozess-Integrationstests kann sehr hoch werden, wenn nicht frühzeitig Testziel und die Testfälle ausgearbeitet kommuniziert werden. Sonst besteht die Gefahr, dass zu viele oder zu wenige Einheiten zum Testzeitpunkt einsatzbereit sind.

Verantwortung

Geschäftsprozessabteilung (wenn existent) oder zentrale IT Abteilung.

Operativer Einheiten und deren Mitarbeiter werden einbezogen.

Voraussetzungen

Prozess-Integrationstest: Isolierte Systemumgebungen; Prozesstest: produktive Umgebungen.

Klare Definition der Kriterien zu Erklärung der Systembereitschaft im Vorfeld des Tests.

Sorgfältige Vorbereitung der Testfälle, -szenarien und -daten.

Zustimmung der gesamten Organisation.

Alle Prozesstests sollten mit bekannten und ggf. ausgewählten Testkunden arbeiten.
Note: There is a print link embedded within this post, please visit this post to print it.

Operational Readiness bedeutet, dass die Organisation und das Produkt oder der Service betriebsbereit sind. Die meisten Unternehmen definieren dies formlos, aber bei komplexen Geschäftsprozessen und/oder einem komplexen Angebot ist es sinnvoll sich explizit damit zu befassen, damit die gewünschte Qualität direkt beim Start des Produkts oder des Service erbracht werden kann (siehe White-Paper zu Prozesstests).

Der Operational Readiness Test (ORT) prüft die Betriebsfähigkeit und führt zur Vertriebsfreigabe.

Der Terminus Operational Readiness ist dem amerikanischen Militärjargon entlehnt, und fand zunächst kommerzielle Anwendung in der Atomindustrie. Daher rühren die sehr militärisch klingenden Bezeichnungen. Im anglizstischen Sprachraum ist Operational Readiness ein gängiger Begriff im Projektmanagement.

Marketingperspektive

Der Operational Readiness Test (ORT) stellt den Abschluss der Produktentwicklung dar. Mit der Erklärung der Betriebsfähigkeit (RfS: Ready for Service, angelehnt an RfA: Ready for Action, kampfbereit) wird das Produkt oder der Service zur Vermarktung freigegeben.

ORTs sollten deshalb eng von Marketing und Vertrieb begleitet werden.

Das Cridon Angebot

Da sich Operational Readiness auf alle operativen Einheiten und alle Systeme, sei es in der IT oder der Technologie bezieht, kann man sich an zentraler Stelle nicht mit allen Einzelheiten befassen. Deshalb prüft der Operational Readiness Test (ORT) meist wesentliche Elemente aus Kundensicht.

Da der ORT meist kurz vor Vertriebsstart durchgeführt wird, ist der Zeitdruck meist hoch. Es empfiehlt sich dann, einen “War Room” einzurichten, in dem der Fortschritt bei der Lösung der wichtigsten Probleme regelmäßig und häufig diskutiert wird.

Unser High-Level Projektplan

Ziel definieren
(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Test planen

• Testcases und/oder Testszenarien definieren
• Ggf. Testdaten vorbereiten
• Fragebogen gestalten und abstimmen
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Systeme zum Test bereitstellen
• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren
• Ggf. Shop, Regale, Verpackungen vorbereiten

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen

• Testfahrplan abarbeiten
• Testplattformen nutzen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Jürgen H. Stäudtner hat bei mehreren großen Telekommunikationsunternehmen ORTs begleitet. Er leitete auch das Team “Operational Readiness” bei o.tel.o communications zum Start von Voice Pre-Selection.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Anmerkungen

Risiko

Bei dem Einsatz eines Operational Readiness Test gibt es wenige Risiken. Er ist sinnvoll, aber er kostet Zeit und Geld. Die Hauptrisiken bestehen darin, dass

• der Markteintritt verzögert wird, wenn der Test nicht professionell organisiert ist.
• deutlich wird, dass das entwickelt Produkt oder der Service nicht den Anforderungen entspricht,

Verantwortung

Produktmanagement oder Produktentwicklung.

Alle operative Abteilungen und alle Systeme und damit technischen Abteilungen müssen zuarbeiten.

Voraussetzungen

Produktive Umgebungen.

Klare Definition der Kriterien zu Erklärung der Betriebsbereitschaft im Vorfeld des Tests.

Zustimmung der gesamten Organisation.
Note: There is a print link embedded within this post, please visit this post to print it.

Der Model Office Test (MOT) steht am Ende dieser Entwicklung und prüft, ob operative Kräfte nach dem vorgesehenen Trainingsprogramm mit den neue entwickelten Hilfsmitteln und Werkzeugen einen sehr guten Betrieb gewährleisten können.

Marketingperspektive

Das Model Office ist das Abbild des operativen Betriebs. Ggf. werden hier ausgewählte echte Kunden einbezogen. Das Produkt oder der Service sollte nicht gestartet werden, wenn Kunden in diesem nicht zufriedenstellend behandelt werden können.

Das Cridon Angebot

Im frühen Stadium des Model Office werden in möglichst produktionsnahen Umgebungen operativ erfahrene Mitarbeiter mit Geschäftsszenarien konfrontiert. Dies Mitarbeiter erzeugen dann Skripte, Anweisungen oder fordern ggf. erweiternde Anwendungen an, um die Geschäftsszenarien so gut wie möglich umzusetzen.

Diese Erzeugnisse fließen in die Trainingseinheiten der verbleibenden Vielzahl der operativen Mitarbeiter ein.

Nach den ersten Trainingseinheiten wird der Model Office Test durchgeführt. Ausgewählte echte Kunden können einbezogen werden. Sorgfältige Planung ist dennoch notwendig, damit kein Geschäftsszenario vergessen wird.

Nach der Aufnahme des Betriebs wird das Model Office zur Optimierung genutzt.

Unser High-Level Projektplan für den Model Office Test

Ziel definieren
(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Ggf. Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Ggf. Testvertrag abschließen
• Ggf. Termin fixieren

Test planen

• Testcases und/oder Testszenarien definieren
• Testdaten vorbereiten
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Systeme zum Test bereitstellen
• Organisation zum Test bereitstellen (Launch)
• Ggf. Verkaufskanal an Testkunden kommunizieren

Testlabor bereitstellen

• Testsysteme bereitstellen
• Ggf. Testanordnung (Regale, Stand, …) vorbereiten
• Testpersonal einplanen

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen

• Testfahrplan abarbeiten
• Testplattformen nutzen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Ggf. Analyse und Empfehlung erstellen

Unsere Erfahrung

Jürgen H. Stäudtner hat das Model Office von o.tel.o communications in den 90er Jahren aufgebaut und geleitet. Der Start des Hauptprodukts Voice Pre-Selection verlief weitgehend reibungslos.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Identifikation und Lösung kritischer Fehler

Anmerkungen

Risiko

Bei dem Einsatz eines Model Office gibt es wenige Risiken. Der Aufwand, den ein Model Office erfordert, sollte eingeplant werden, denn Änderungen im operativen Betrieb sollten vorbereitet werden.

Verantwortung

Operative Abteilungen mit direkter Berichtslinie an operativ Verantwortliche. Im Model Office wird über den Starttermin eines Produkts oder eines Service entschieden.

Die IT Abteilung unterstützt.

Voraussetzungen

Isolierte Systemumgebungen; produktive Elemente sollte nicht eingesetzt werden, bzw. stehen meistens noch nicht zur Verfügung.

Sorgfältige Vorbereitung der Testfälle, -szenarien und -daten.
Note: There is a print link embedded within this post, please visit this post to print it.

Eine Reihe von spezialisierten Beratern wie  Steve Krug bekannt durch seinen Bestseller “Don’t make me think” oder Jared M. Spool hat sich bereits herausgebildet. Experten können gute Interfaces entwickeln, die tatsächliche Prüfung vor dem Start eines Produkts oder einer Dienstleistung ersetzt dies heute nicht mehr.

Marketingperspektive

Die Konversionsrate von Interessenten zu Kunden kann durch die verbesserte Bedienbarkeit einer Anwendung ebenso verbessert werden, wie die Zeit reduziert werden kann, die Ihre Kunden bei der Arbeit benötigen. Oftmals sind Anwendungen grundsätzlich heute nicht nach Maßstäben der Benutzerfreundlichkeit sondern nach technischen Maßstäben konzipiert.

Usability Tests können den Kundennutzen ebenso wie Ihren Ertrag verbessern.

Das Cridon Angebot

Usability Test, auch User Interface Tests genannt,  erfordern die präzise Auswahl von Testgruppen und den Aufbau eines Labors, oder zumindest den Einsatz spezieller Software, um aussagekräftige Auswertungen vornehmen zu können.

Testgruppen müssen je Zielgruppe hinreichend groß sein (10 Personen werden empfohlen). Die Testpersonen müssen sich in einer Laborsituation möglichst natürlich verhalten können.

Die Testpersonen bekommen dann eine oder mehrere Aufgaben gestellt, die ausgewertet werden. Die Augen- und/oder die Mausbewegungen einer Testperson sollten während eines Tests aufgezeichnet werden. Augenbewegungen können mit Eye Trackern ausgewertet werden (Siehe z.B. Tommy Strandvall, oder EyeQuant von WhiteMatter Labs), was verdeutlicht, welche Bereiche der Anwendung hohe Aufmerksamkeit haben. Weiterführend Analysen der tatsächlichen Aktivitäten einer Testperson werden über das Messen von Maus und Tastatureingaben erreicht (Siehe z.B. m-pathy Heatmaps).

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen
• Voraussetzungen bei Testkunden prüfen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

• Ausprägung wählen
• Anmutung und Auftreten entwickeln

Test planen

• Testszenarien planen
• Testpunkte definieren

Produkt  oder Service bereitstellen

Testlabor bereitstellen

• Testsysteme bereitstellen
• Testpersonal einplanen

Zusaätzliche Daten einholen

• Wettbewerb und Benchmarks analysieren
• Panels, Umfragen und Statistiken einsehen
• Berichte zu Unternehmensdaten anfordern

Auswertung des Tests vorbereiten

• Laborsysteme konfigurieren (Eye + Tastatur Tracker)
• Remotesysteme konfigurieren (Remote Tastatur Tracker)
• Groben Fragebogen (nach dem Test) erstellen

Test durchführen

• Testfahrplan abarbeiten
• Testplattformen nutzen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Wir sind erfahren bei der Gestaltung von User-Interfaces und haben in dieser Funktion einige Usability Tests begleitet.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Überwachung der Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Der eigentliche Test kann von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Wenn die Prüfung der Benutzerfreundlichkeit zu spät im Entwicklungsprozess erfolgt, so können hohe Kosten entstehen.

Verantwortung

Produkt-Management oder Produkt-Development.

Voraussetzungen

Klickbarer Prototyp oder fertige Anwendung. Es ist nicht entscheidend, dass die Systeme in allen Punkte dem Livebetrieb gleichen. Zur Not können Paper-Walk-Throughs ebenso zu sinnvollen Ergebnissen führen.

Sorgfältige Vorbereitung der Testpersonen und der Testaufgaben. Sorgfältige, faktenbasierte Auswertung.
Note: There is a print link embedded within this post, please visit this post to print it.

Produkttest sind vor allem durch unabhängige Tester ein Begriff. Das Produkt oder die Dienstleistung wird mit oder ohne Wissen des Produzenten geprüft und die Ergebnisse des Tests werden publiziert.

In der Softwareindustrie haben sich vor allem die Begriffe Alpha-Test, Beta-Test und Pre-Release Test (Rehearsal) etabliert. Mit diesen wird meist die Funktion eines Produkts oder einer Dienstleistung zusätzlich geprüft.

Diese Tests können vorab simuliert werden, oder vor Start eines Produkts durchgeführt werden um sicher zu stellen, dass spätere, externe Tests erfolgreich ausfallen. Bei Produkttests wird das nahezu fertigentwickelte Produkte geprüft. Auch bedarf es meistens einer relativ großen Testgruppe.

Deshalb sollten Produkttests nicht den Prototypentest ersetzten, wenn dieser durchgeführt werden kann.

Marketingperspektive

Produkttests sind empfehlenswert, wenn die Funktion oder die Akzeptanz eines Produkts oder einer Dienstleistung kurz vor Abschluss der Entwicklung mit einer kontrollierbaren Testgruppe überprüft werden soll.

Das Cridon Angebot

Eine für eine Zielgruppe repräsentative Testgruppe muss ausgewählt werden und zur Verschwiegenheit verpflichtet werden.

Fragebogen sollten verwendet werden, um die Meinung der Testpersonen abzufragen, oder deren Beobachtung auszuwerten. Diese Fragebögen können standardisiert eingesetzt werden, sinnvoll ist aber deren Anpassung auf den konkreten Test. Wir führen die unterschiedlichsten Produkttests durch:

• Offene oder geschlossene Beta-Tests
• Ein Produkt oder mehrere Produkte pro Testperson
• Vergleich mehrerer Produkte pro Testperson
• Tests im Labor, vor Ort, oder in der gewohnten Umgebung der Testpersonen
• Branded oder Anonyme Produkte

Ergebnissen werden klar strukturiert in einem Marketingreport dargestellt. Dieser erhält die wichtigsten Ergebnisse als Entscheidungsvorlage. Details des Tests werden in grafischer Form inklusive einer umfassenden Statistik dargelegt.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Quelle und Budget für Testpersonen bestimmen
• Testmarkt wählen

(Test-)Kunden binden

• Testvertrag abschließen
• Ggf. Termin fixieren

Produkt  oder Service auswählen

• Ausprägung wählen

Produkt  oder Service bereitstellen

• Ggf. Systeme zum Test bereitstellen
• Verkaufskanal an Testkunden kommunizieren
• Ggf. Elektronische Weiche und Landing Pages einrichten
• Ggf. Shop, Regale, Verpackungen vorbereiten
• Umfragewerkzeug kontrahieren oder konfigurieren

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen: Testpersonen auf Testumgebung lenken

Test auswerten

• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Überwachung der Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Der eigentliche Test sollte von Ihnen oder von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Diese Tests finden oft spät im Entwicklungsprozess statt und beschränken sich auf das Produkt und testen nicht die zugehörige Dienstleistung. Somit wird nicht die gesamte Nutzererfahrung überprüft. Änderungen des Produkts werden meist teuer.

Verantwortung

Produkt-Management oder Produkt-Development.

Voraussetzungen

Produkt einsatzbereit. Produktionsnahe Umgebungen oder Live-Umgebung.

Sorgfältige Vorbereitung der Fragebögen und kritische Auswahl der Testpersonen.
Note: There is a print link embedded within this post, please visit this post to print it.