Bei diesen Tests wird mit ausgewählten Kunden ein Testvertrag geschlossen, das Produkt oder der Service aber behandelt, als ob offiziell gestartet worden wäre. Dieses Vorgehen ermöglicht es valide Testdaten zu erhalten, und gleichzeitig letzte Schwachstellen im Angebot zu identifizieren, oder bekannte Probleme zu beheben.

Der Friendly User Test unterscheidet sich vom Markttest insofern nur durch die Auswahl der Testkunden.

Marketingperspektive

Friendly Customer Trials kommen zum Einsatz, wenn Produkte oder Services eine sehr komplexe Organisation erfordern, und man sich vermarktungsseitig nicht sicher ist, ob die gewünschte Qualität erreicht wird, oder wie gut das Produkt oder der Service angenommen wird.

Manchmal wird ein Markttest intendiert, aber man ist nicht sicher, wie man den Testmarkt eingrenzt. Dieser Testfall ist nicht sinnvoll.

Das Cridon Angebot

Bereits im Vorfeld des Tests sollte zudem definiert werden, welche Leistungsindikatoren ausgewertet werden, und wann die Markteinführung in Frage kommt.

Grundlegende Testszenarien und Testfälle sollten definiert und abgearbeitet werden. Dies ist sinnvoll, weil die Anzahl der Testteilnehmer oft relativ klein ist.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

Test planen

• Testcases und/oder Testszenarien definieren
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren
• Groben Fragebogen (nach dem Test) erstellen

Test durchführen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Wir haben bereits einige Male komplexe Customer Trials in der Telekommunikation oder bei B-C Angeboten im Internet begleitet. Gerne organisieren wir einen Customer Trial auch für Sie.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Anmerkungen

Risiko

Markttests erfordern die Mitwirkung der kompletten Organisation. Die Organisation dieser Tests kann deshalb präzises operatives Arbeiten erfordern, wenn sich die Vorgehensweisen grundlegend von anderen Angeboten unterscheiden.

Risiken liegen auch im Verbergen des Tests, wenn die frühe Kommunikation nicht erwünscht ist.

Verantwortung

Marketing.
Note: There is a print link embedded within this post, please visit this post to print it.

Vor der Betriebsaufnahme eines neuen Produkts oder eines neuen Service ist es bei komplexen Umgebungen sinnvoll zu prüfen, ob ein Geschäftsprozess überhaupt funktioniert. Dann spricht man von einem Prozess-Integrationstest (PIT).

Allen Prozesstests ist gemein, dass Sie End-to-End durchgeführt werden müssen, um sinnvolle Ergebnisse zu erhalten.

Marketingperspektive

Prozess-Integrationstests liefern erstmals während der Entwicklung eines neuen Produkts oder einer neuen Dienstleistung eine nahezu fertiges System. Prozesstests zeigen auf, an welcher Stelle im Geschäftsprozess Optimierungsbedarf besteht.

Es empfiehlt sich, dieses Tests zu begleiten, um ein erstes Verständnis dafür zu erhalten, ob das Produkt oder die Dienstleistung entsprechend Ihren Erwartungen Kundennutzen generiert.

Das Cridon Angebot

Prozesstests können relativ einfach durchgeführt werden, da man mit im Betrieb befindlichen Einheiten arbeiten kann.

Hier ist das Augenmerk vor allem darauf zu legen, dass der Test repräsentativ ist, und die Auswertung auf der Basis von ausreichend vielen Daten erfolgt und statistisch gesehen korrekt ist.

Prozess-Integrationstests müssen sehr genau vorbereitet werden um einerseits die technische Komplexität hinreichend zu prüfen, und andererseits gestellt Anforderungen zu berücksichtigen.

Da der PIT kurz vor Vertriebsstart durchgeführt wird, ist der Zeitdruck meist hoch. Es empfiehlt sich dann, einen “War Room” einzurichten, in dem der Fortschritt bei der Lösung der wichtigsten Probleme regelmäßig und häufig diskutiert wird.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

Test planen

• Testcases und/oder Testszenarien definieren
• Testdaten vorbereiten
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Systeme zum Test bereitstellen
• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Jürgen H. Stäudtner hat bei o.tel.o communications die Abteilung Prozess-Integrationstest geleitet und unter anderem den Start der Produkte “Intelligent Networks” sowie “o.tel.o und business online” begleitet.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Anmerkungen

Risiko

Bei einem Prozesstest müssen vor allem die Messung und Auswertung professionell erfolgen. Sonst können “Probleme” entstehen, die keine sind aber viel Zeit erfordern.

Der Aufwand für einen Prozess-Integrationstests kann sehr hoch werden, wenn nicht frühzeitig Testziel und die Testfälle ausgearbeitet kommuniziert werden. Sonst besteht die Gefahr, dass zu viele oder zu wenige Einheiten zum Testzeitpunkt einsatzbereit sind.

Verantwortung

Geschäftsprozessabteilung (wenn existent) oder zentrale IT Abteilung.

Operativer Einheiten und deren Mitarbeiter werden einbezogen.

Voraussetzungen

Prozess-Integrationstest: Isolierte Systemumgebungen; Prozesstest: produktive Umgebungen.

Klare Definition der Kriterien zu Erklärung der Systembereitschaft im Vorfeld des Tests.

Sorgfältige Vorbereitung der Testfälle, -szenarien und -daten.

Zustimmung der gesamten Organisation.

Alle Prozesstests sollten mit bekannten und ggf. ausgewählten Testkunden arbeiten.
Note: There is a print link embedded within this post, please visit this post to print it.

Operational Readiness bedeutet, dass die Organisation und das Produkt oder der Service betriebsbereit sind. Die meisten Unternehmen definieren dies formlos, aber bei komplexen Geschäftsprozessen und/oder einem komplexen Angebot ist es sinnvoll sich explizit damit zu befassen, damit die gewünschte Qualität direkt beim Start des Produkts oder des Service erbracht werden kann (siehe White-Paper zu Prozesstests).

Der Operational Readiness Test (ORT) prüft die Betriebsfähigkeit und führt zur Vertriebsfreigabe.

Der Terminus Operational Readiness ist dem amerikanischen Militärjargon entlehnt, und fand zunächst kommerzielle Anwendung in der Atomindustrie. Daher rühren die sehr militärisch klingenden Bezeichnungen. Im anglizstischen Sprachraum ist Operational Readiness ein gängiger Begriff im Projektmanagement.

Marketingperspektive

Der Operational Readiness Test (ORT) stellt den Abschluss der Produktentwicklung dar. Mit der Erklärung der Betriebsfähigkeit (RfS: Ready for Service, angelehnt an RfA: Ready for Action, kampfbereit) wird das Produkt oder der Service zur Vermarktung freigegeben.

ORTs sollten deshalb eng von Marketing und Vertrieb begleitet werden.

Das Cridon Angebot

Da sich Operational Readiness auf alle operativen Einheiten und alle Systeme, sei es in der IT oder der Technologie bezieht, kann man sich an zentraler Stelle nicht mit allen Einzelheiten befassen. Deshalb prüft der Operational Readiness Test (ORT) meist wesentliche Elemente aus Kundensicht.

Da der ORT meist kurz vor Vertriebsstart durchgeführt wird, ist der Zeitdruck meist hoch. Es empfiehlt sich dann, einen “War Room” einzurichten, in dem der Fortschritt bei der Lösung der wichtigsten Probleme regelmäßig und häufig diskutiert wird.

Unser High-Level Projektplan

Ziel definieren
(Test-)Kunden akquirieren

• Zielgruppe definieren und “n” ermitteln
• Testpersonen ermitteln und einladen

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Test planen

• Testcases und/oder Testszenarien definieren
• Ggf. Testdaten vorbereiten
• Fragebogen gestalten und abstimmen
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Produkt  oder Service bereitstellen

• Systeme zum Test bereitstellen
• Organisation zum Test bereitstellen (Launch)
• Verkaufskanal an Testkunden kommunizieren
• Ggf. Shop, Regale, Verpackungen vorbereiten

Auswertung des Tests vorbereiten

• Berichte und Statistiken anfordern
• Trackingsoftware konfigurieren

Test durchführen

• Testfahrplan abarbeiten
• Testplattformen nutzen

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Analyse und Empfehlung erstellen

• Ergebnisse interpretieren
• Handlungsempfehlungen auszeigen

Unsere Erfahrung

Jürgen H. Stäudtner hat bei mehreren großen Telekommunikationsunternehmen ORTs begleitet. Er leitete auch das Team “Operational Readiness” bei o.tel.o communications zum Start von Voice Pre-Selection.

Expertenwissen bei der

• Definition erreichbarer Testziele und präziser Testplanung
• Testdurchführung
• Auswertung und der Analyse des Tests und dem Ableiten von Empfehlungen

Anmerkungen

Risiko

Bei dem Einsatz eines Operational Readiness Test gibt es wenige Risiken. Er ist sinnvoll, aber er kostet Zeit und Geld. Die Hauptrisiken bestehen darin, dass

• der Markteintritt verzögert wird, wenn der Test nicht professionell organisiert ist.
• deutlich wird, dass das entwickelt Produkt oder der Service nicht den Anforderungen entspricht,

Verantwortung

Produktmanagement oder Produktentwicklung.

Alle operative Abteilungen und alle Systeme und damit technischen Abteilungen müssen zuarbeiten.

Voraussetzungen

Produktive Umgebungen.

Klare Definition der Kriterien zu Erklärung der Betriebsbereitschaft im Vorfeld des Tests.

Zustimmung der gesamten Organisation.
Note: There is a print link embedded within this post, please visit this post to print it.

Systemtests müssen aus technischen Gründen durchgeführt werden, wenn die Systemlandschaft komplex ist. Einfache Fehler in Schnittstellenbeschreibungen fallen oftmals hier auf und haben einen großen Einfluss. Prozesstests werden durch Systemtests nicht ersetzt (siehe White-Paper zu Prozesstests).

Marketingperspektive

Bei Systemtests und vor allem System-Integrationstests liegt erstmals während der Entwicklung eines neuen Produkts oder einer neuen Dienstleistung eine nahezu fertiges System vor. Es empfiehlt sich, diese Tests zu begleiten, um ein erstes Verständnis dafür zu erhalten, ob das Produkt oder die Dienstleistung Kundennutzen entsprechend Ihren Erwartungen generiert.

Das Cridon Angebot

Systemtests und System-Integrationstests müssen sehr genau vorbereitet werden um einerseits die technische Komplexität hinreichend zu prüfen, und andererseits gestellt Anforderungen zu berücksichtigen.

Deshalb sollten ausführliche Testszenarien und Testfälle definiert werden, die auch die erwarteten Ergebnisse beinhalten. Die präzise Vorbereitung erfordert auch das Anlegen von Testdaten inklusive von Kunden, Produktdatenbanken, sowie Beispieldaten für Schnittstellen.

Unser High-Level Projektplan

Ziel definieren

(Test-)Kunden binden

• Testvertrag abschließen
• Termin fixieren

Produkt  oder Service auswählen

• Ausprägung wählen
• Anmutung und Auftreten entwickeln

Test planen

• Testcases und/oder Testszenarien definieren
• Testdaten vorbereiten
• Erwartete Ergebnisse definieren
• Testpunkte definieren
• Testfahrplan erstellen

Systeme zum Test bereitstellen

Berichte und Statistiken anfordern

Test durchführen, Testfahrplan abarbeiten

Test auswerten

• Protokoll erstellen
• Zahlen prüfen und auswerten
• Fehler notieren, priorisieren und lösen

Unsere Erfahrung

Wir haben bereits einige Male komplexe Systemtests und System-Integrationstests begleitet.

Expertenwissen bei der Identifikation und dem Lösen von kritischen Fehlern.

Der eigentliche Test sollte von Ihnen oder von unseren operativen Partnern durchgeführt werden.

Anmerkungen

Risiko

Änderungswünsche sollten formal an die IT-Abteilung herangetragen werden, da dieses Tests komplex sind. Werden gleichzeitig Abnahmetests durchgeführt, dann haben diese eine rechtliche Bedeutung. Sehr selten können Änderungswünsche zu diesem Zeitpunkt berücksichtigt werden, ohne die Entwicklung massiv zu verzögern.

Systemtest sollten regelmäßig durchgeführt werden, da Änderungen in einem System dazu führen können, dass eine ganze Systemkette nicht mehr funktioniert.

Verantwortung

IT Abteilung unterstützt durch Lieferanten. Operativer Mitarbeiter werden oftmals einbezogen.

Voraussetzungen

Isolierte Systemumgebungen; keinesfalls sollten produktive Elemente eingesetzt werden.

Sorgfältige Vorbereitung der Testfälle, -szenarien und -daten.
Note: There is a print link embedded within this post, please visit this post to print it.

Nachfolgend sind einige Erfolgsfaktoren für End-to-End Tests aufgeführt, um Sie vor Entäuschungen zu schützen. Verkauszahlen, die unter den Erwartungen liegen, hohe Test- und Entwicklungskosten, organisatorische Probleme und unpassende Informtionstechnologie werden häufig beklagt. Deshalb sollte der Endkunden im Mittelpunkt stehen, Tests strukturiert geplant werden, die operative Organisation involviert werden und berücksichtigt werden, dass gestellte Anforderungen veraltet sein können.

Ausrichtung am Endkunden

End-to-End Tests schützen nicht zwingend vor Verkaufszahlen, die unter den Erwartungen liegen. Vor allem dann, wenn konzeptionelle Fehler vorliegen, oder die Ausrichtung auf den Kunden mangelhaft ist. Deshalb sollte die Konzeption eines Produkts ggf. in einem End-to-End Test hinterfragt werden. Außerdem muss klar sein, dass die Qualität oder die Schönheit eines Produkts letztendlich von Kunden beurteilt werden, und nicht von den an der Entwicklung eines Projektes Beteiligten. Letztlich muss  von Anfang an das Angebot eines Unternehmens klar am vorhandenen oder erwarteten Kundenwunsch gemessen werden.

Strukturierte Testplanung

Häufig liegt die Wahrnehmung von hohe Kosten von End-to-End Tests darin begründet, dass die Aussagefähigkeit der Testergebnisse beschränkt ist. Tests müssen gründlich geplant, und fokussiert durchgeführt werden um verlässliche Ergebnisse hervorbringen. Die 80/20 Regel ist bei Tests nur dann anwendbar, wenn man weiß, dass Fehler in nicht getesteten Bereichen nicht kritisch sind. Unsauber ausgeführte Tests sind keine Garantie für Funktion und können unterbleiben.

Außerdem sollte der Aufwand für Tests im Auge behalten werden. Tests sollten z.B. immer aufeinander aufbauen um zu vermeiden, dass sich Tests überschneiden und zu großer Testaufwand die Organisation lähmt. Der Umfang eines Tests kann genau definiert werden – hier gilt die Regel „wenig aber gut testen“.

Einbeziehung der operativen Organisation

Bei allen End-to-End Tests oberhalb von Prozess-Integrationstests sind operative Abteilungen und deren Mitarbeiter beteiligt. Es ist darauf zu achten, dass diese Kollegen keine gesonderten Schulungen durchlaufen, sondern sich der Materialien bedienen, die im operativen Betrieb nach Einführung eines Produkts vorliegen. Nur so können dort Schwachstellen gefunden werden, die für die Wahrnehung eines Produktes ebenso wichtig sind, wie Informationssysteme.

Übergangene Abteilungen können die Einführung fertig getesteter Produkte oftmals zu Recht blockieren. Operativer Abteilungen sollten nicht vor vollendete Tatsachen gestellt werden. Auch Abteilungen, die die Dienstleistung den Kunden anbieten müssen einbezogen werden, und müssen als Messlatte dienen – die Meinung operativer Mitarbeiter muss gehört werden.

Differenzierung zwischen Pflichtenheft und aktuellen Anforderungen

In den meisten End-to-End Tests treten zunächst Fehler in Informationssystemen zu Tage. Deshalb sollte die Funktion eines Systemes geprüft und abgenommen sein, bevor ein solcher Test beginnt. Die Abnahme von Systemen erfolgt grundsätzlich nur auf den Anforderungen (Pflichtenheft) nach Vertrag, denn Lieferanten arbeiten meist auf der Basis von Anforderungen, und sollten danach beurteilt werden.

Unstimmigkeiten in den Anforderungen sind oftmals keine Fehler der Entwickler, sondern Folge der schnellen Änderungen der Umwelt oder in ungenauen Anforderungen begründet. Solche Fehler zu finden, sind mit die Hauptaufgabe von End-to-End Tests und sollten provoziert werden. Entscheidend ist, wie die Anforderungen des Geschäftes in den Entwicklungsprozess aufgenommen, und Änderungen eingebaut werden, denn Systeme können oft auf vielfältige Art und Weise eingesetzt werden. Deshalb werden Anforderungen oft anders erfolgreich implementiert als ursprünglich diskutiert.

Siehe auch die Artikel zu den Definition für End-to-End Tests und der Arten dieser Tests, die wir bereits erfolgreich organisieren konnten.

Wir haben bereits eine Reihe von End-to-End Tests in komplexen Umgebungen aus Organisation, Prozessen und Systemen durchgeführt und unterstützen Sie gerne bei der Konzeption und der Durchführung eines End-to-End Tests.

Die verschiedensten Arten von end-to-end Tests haben alle gemeinsam, dass sie sich an Geschäftsprozessen orientieren müssen. Einerseits ist dies die Definition von end-to-end Tests, und anderseits betreffen alle wichtigen, dem Kunden gegenüber sichtbaren Funktionen einer Organisation oder eines Systems Geschäftsprozesse.

Abhängig von den Gründen einen end-to-end Test durchzuführen, und der Zeit, die bis zum dem Start des Angebots verbleibt, ergeben sich verschiedenen Möglichkeiten für einen Test. Entscheident ist zu erkennen, dass Komplexität Ihren Tribut fordert. Je komplexer die Organisation und die Systeme sind, desto weniger Zeit kann gewonnen werden, wenn man direkt zu höheren Stufen von end-to-end Tests übergeht, denn Probleme werden sich dann häufen.

Sinnvolle Tests sind:

• Systemtest: Die Funktion eines Systems inklusive aller Schnittstellen wird getestet. Oft ist dies gleichbedeutend mit Abnahme-Tests.
• System-Integratonstest: Der Verbund mehrerer Systeme wird überprüft, kritische Schnittstellen und die Unterstützung von Geschäftsprozessen sind Priorität.
• Prozess-Integrationstest: Die Bereitschaft zur Betriebsaufnahme (Operational Readiness) wird anhand von Stichproben für wesentliche Geschäftsvorfälle überprüft. Dieser Test schließt erstmals die gesamte Organiation mit ein. D.h. aus jeder operativen Abteilung werden Mitarbeiter benötigt.
• Servicetest: Die Bereitschaft zur Massenverarbeitung von Anfragen und wird überprüft, ebenso wie die Funktion der Services.
• Customer Trial: Die Zufriedenheit der teilnehmenden Kunden mit dem angebotenen Produkt / Service und mit der Organisation wird überprüft.
• Markttest: Ein Markttest überprüft in einem definierten Verkaufsgebiet wie sich ein neues Produkt / einen neue Dienstleistung verkauft.

Es ist gleichwohl nicht sinnvoll, alle Tests durchzuführen, denn dies ist aufwendig, und die Reibungsverluste in der Organisation würden erheblich sind.

Siehe auch der Artikel zu den Gründen, einen End-to-End Test durchzuführen, sowie der Artikel zu den Erfolgsfaktoren eines solchen Tests.

Wir haben bereits eine Reihe von End-to-End Tests in komplexen Umgebungen aus Organisation, Prozessen und Systemen durchgeführt und unterstützen Sie gerne bei der Konzeption und der Durchführung eines End-to-End Tests.

Vor allem High-Tech Service Industrien (wie die Telekommunikation, oder die Finanzbranche) sind gekennzeichnet durch starken Wettbewerb, viele unterschiedliche Produkte, Schnelllebigkeit und hohen Preisdruck. In solchen Umgebungen ist es oft nicht möglich, eingeführte fehlerhafte Produkte ohne Imageschaden während des Betriebs zu optimieren. In solchen Fällen sollte man sich die Zeit nehmen, Prozesse von Anfang bis zum Ende, von end-to-end, zu testen.

Die meisten Unternehmen haben den Wunsch Dienstleistungen mit hoher Qualität möglichst schnell anzubieten, weshalb komplexe Geschäftsprozesse mit einem hohen Automatisierungsgrad schnell entwickelt werden müssen. Verantwortungsvolle Manager wissen, dass sie komplexen Unternehmen vorstehen, die nur in Grenzen gestaltbar sind, und die einer Lernkurve unterliegen. Deshalb fordern sie End-to-End Tests bereits während eines Entwicklungsprojekts.

Betrachtet man die Faktoren Markt, Produkt, Prozesse und Systeme so wird deutlich, dass sich nicht alle Elemente der Wertschöpfungskette ausführlich testen lassen, weil dies zu lange dauern würde. Eine vertretbare Zeit bis zur Marktreife kann allerdings erreicht werden, wenn man die Eigenheiten professionell durchgeführter Tests kennt und beurteilen kann, wann Tests verlustfrei aufeinander aufbauen können.

Siehe auch die Artikel zu den Erfolgsfaktoren und der Arten dieser Tests, die wir bereits erfolgreich organisieren konnten.

Das Dokument Definition von End-to-end Tests beschreibt die möglichen Testarten und zeigt deren Abhängigkeiten auf.

Wir haben bereits eine Reihe von End-to-End Tests in komplexen Umgebungen aus Organisation, Prozessen und Systemen durchgeführt und unterstützen Sie gerne bei der Konzeption und der Durchführung eines End-to-End Tests.