Anti-Muster bei Produktmetriken

Vanity Metrics sind Metriken, die in einer Präsentation beeindruckend aussehen, aber von der tatsächlichen Gesundheit oder Entwicklung des Produkts abgekoppelt sind. Häufige Vanity Metrics in SaaS: Gesamtzahl der registrierten Benutzer (umfasst alle, die sich jemals angemeldet haben, einschließlich abgewanderter, nie aktivierter und lange inaktiver Benutzer – sieht groß aus, ist aber ein schlechter Indikator für die aktive Benutzerbasis); Seitenaufrufe (leicht durch minderwertigen Traffic, Bots oder verwirrende UX, die Benutzer dazu bringt, mehrmals zu klicken, um eine Aufgabe zu erledigen, aufgebläht); Gesamtzahl der App-Downloads (für mobile Produkte); LinkedIn-Follower; und Erwähnungen in Pressemitteilungen. Sie halten sich, weil sie leicht zu steigern sind, immer zunehmen (es sind kumulative Zählungen, die nur steigen können) und zufriedenstellende narrative Diagramme für All-Hands-Präsentationen liefern. Das Gegenmittel besteht darin, jede Vanity Metric mit ihrem qualitätsbereinigten Äquivalent zu koppeln: Statt der Gesamtzahl der Benutzer, MAU + Aktivierungsrate berichten; statt Seitenaufrufen, Seiten mit > 30 Sekunden Engagement berichten; statt Downloads, 7-Tage-Retention berichten. Die qualitätsbereinigte Metrik zeigt, ob das Wachstum der Vanity Metric aussagekräftig ist.

Der Überlebensfehler (Survivorship Bias) in der Produktanalyse tritt auf, wenn Teams nur die Benutzer analysieren, die noch in den Daten vorhanden sind, und diejenigen ignorieren, die gegangen sind – was zu systematisch optimistischen Schlussfolgerungen führt. Klassisches SaaS-Beispiel: Ein Team möchte verstehen, welche Onboarding-Aktionen zur Retention führen. Sie analysieren das Verhalten ihrer derzeit aktiven Benutzer in Woche 1 und stellen fest, dass 85 % der aktiven Benutzer während des Onboardings ein Teammitglied hinzugefügt haben. Fazit: „Das frühe Hinzufügen eines Teammitglieds ist das Schlüsselverhalten.“ Anti-Survivorship-Analyse: Analysieren Sie die Kohorte aller Benutzer von vor 90 Tagen (nicht die aktuell aktiven Benutzer) und vergleichen Sie das Verhalten in Woche 1 derjenigen, die noch aktiv sind, mit denen, die abgewandert sind. Dies zeigt, ob das Hinzufügen eines Teammitglieds tatsächlich die Retention vorhersagt oder ob es einfach ein häufiges Verhalten der Mehrheit der Benutzer ist, unabhängig vom Ergebnis. Eine „Retention-Korrelationsanalyse“ ohne Kohortensteuerung ist fast immer durch Survivorship Bias verzerrt. Product Ops schult PMs in der Methodik der kohortengesteuerten Analyse als Standardpraxis bei der Interpretation von Benutzerforschung.

Der gefährlichste und häufigste Analysefehler in Product Operations: zu beobachten, dass zwei Dinge zusammen auftreten, und daraus zu schließen, dass das eine das andere verursacht. Reales Beispiel: Ein SaaS-Unternehmen stellt fest, dass Benutzer, die die tägliche E-Mail-Benachrichtigung einrichten, eine 4-mal höhere 90-Tage-Retention aufweisen als Benutzer, die dies nicht tun. Sie schließen daraus: „Wenn wir alle neuen Benutzer zwingen, den täglichen Digest einzurichten, werden wir die Retention dramatisch verbessern.“ Sie implementieren die obligatorische Benachrichtigungseinrichtung im Onboarding. Die Retention verbessert sich nicht. Die Wahrheit: Benutzer, die freiwillig tägliche Digest-Benachrichtigungen einrichten, sind bereits engagiert und committed – sie hätten ohnehin die Retention beibehalten. Die Benachrichtigungseinrichtung ist ein Symptom hohen Engagements, nicht dessen Ursache. Testen Sie, bevor Sie Schlussfolgerungen ziehen: Die einzige zuverlässige Methode zur Feststellung der Kausalität ist ein randomisiertes kontrolliertes Experiment – weisen Sie einige Benutzer zufällig einer Gruppe zu, die zu dem „korrelierten“ Verhalten angeregt wird, und vergleichen Sie deren Retention mit einer randomisierten Kontrollgruppe. Wenn sich die zufällig angeregte Gruppe verbessert, wird die Kausalität unterstützt. Product Ops sollte verlangen, dass jede „Entdeckung“ aus der Produktanalyse eine grundlegende Kausalitätsvalidierung – entweder durch Experiment oder einen plausiblen kausalen Mechanismus – besteht, bevor sie eine Produktentscheidung beeinflusst.