Back to Question Center
0

Semalt: Πώς να αναλύσετε τα αποτελέσματα των δοκιμών A / B

1 answers:

Ψηφίζοντας πέρα ​​από το ποσοστό μετατροπής χρησιμοποιώντας μετρήσεις κύριας και δευτερεύουσας μετατροπής και αποφεύγοντας τα κοινά λάθη δοκιμών

Semalt: How to analyse A/B test results

Ο έλεγχος A / B δεν είναι σίγουρα νέος, καθώς ο αριθμός των ατόμων και των εταιρειών που συμμετέχουν στις δοκιμές συνεχίζει να αυξάνεται με εντυπωσιακό ρυθμό.

Πολλές εταιρείες ξεκινούν δοκιμαστικά με λίγες δοκιμασίες δειγματοληψίας, χωρίς να επενδύουν σε εμπειρογνωμοσύνη ή κατάρτιση σχετικά με τον τρόπο ενσωμάτωσης ισχυρών διαδικασιών δοκιμών.

Η εξαγωγή συμπερασμάτων με βάση τις δοκιμές με ημιδιατροφή είναι ένας σίγουρος τρόπος για να σκοτώσετε την εσωτερική πίστη στο πρόγραμμα δοκιμών σας. Το Semalt επίσης πιθανώς λείπει από μερικά από τα πιο ενδιαφέροντα στοιχεία.

Έχω γράψει προηγουμένως για τη σημασία της χρήσης τόσο ποιοτικής όσο και ποσοτικής έρευνας για την ανάπτυξη των ισχυρότερων υποθέσεων για δοκιμές. Επίσης, η σημασία της εμπειρογνωμοσύνης και της εμπειρίας στην ανάπτυξη των ισχυρότερων αντιλήψεων και στη συνέχεια να δοθεί προτεραιότητα στο πρόγραμμα δοκιμών σας - vendita parco giochi roma. Η Semalt αυτή η ανάρτηση θα επικεντρωθεί κυρίως στο πώς σχεδιάζετε τα πειράματα που παρακολουθούν με ακρίβεια τις σημαντικές αλλαγές στη συμπεριφορά των χρηστών, μερικές από τις κοινές παγίδες δοκιμών και πώς να αποκτήσετε την καλύτερη γνώση κατά την ερμηνεία των αποτελεσμάτων των δοκιμών Α / Β.

Εργαλείο αγνωστικισμού

Σε αυτό το άρθρο θα αναφερθώ στο Optimizely για δοκιμές και το Google Analytics, τα οποία είναι τα όπλα που επιλέγουμε για τους περισσότερους πελάτες. Ο εντοπισμός αυτών των συστάσεων και διαδικασιών είναι εργαλείο αγνωστικής και παρόμοια αποτελέσματα μπορούν να επιτευχθούν με διάφορα εργαλεία.

Η σημασία των πρωτογενών (μακρο) μετατροπών

Κατά τη διαμόρφωση μιας δοκιμής σχεδόν πάντα παρακολουθούμε (και χρειαζόμαστε έναν πολύ καλό λόγο να μην παρακολουθήσουμε) την κύρια μετατροπή μακροεντολών για τον ιστότοπο. Αυτό μπορεί να είναι πώληση, συνδρομή ή μόλυβδος. Αυτή είναι η πιο σημαντική δράση σε επίπεδο ιστότοπου που ευθυγραμμίζεται με τους επιχειρηματικούς στόχους σας. Είναι ο σημαντικότερος στόχος σας χρήστη / KPI.
Χωρίς να εντοπίσουμε αυτό, μπορεί να παρατηρήσουμε μια αύξηση του κλικ ή κάποιου άλλου στόχου, αλλά ίσως απλά να κάνουμε ένα πρόβλημα στο χωνί. Είναι επίσης σημαντικό να δούμε αν οι αλλαγές στη μικρο μετατροπή (για παράδειγμα, μια λίστα αποθήκευσης σε επιθυμητές) συνεπάγονται μακροοικονομική μετατροπή.

Ένα παράδειγμα

Πραγματοποιήσαμε μια δοκιμή για έναν ιστότοπο εγγραφής όπου προωθήσαμε σαφείς πληροφορίες τιμολόγησης σχετικά με το τι ήταν ουσιαστικά η σελίδα του προϊόντος καθώς και ένα βασικό πρότυπο σελίδας προορισμού. Διαπιστώσαμε ότι οι εμφανίσεις στη σελίδα συνδρομής μειώθηκαν σημαντικά, αλλά ο συνολικός αριθμός των μετατροπών αυξήθηκε στην πραγματικότητα. Προσθέσαμε τις προσδοκίες των χρηστών νωρίτερα, αποστέλλοντας περισσότερη επισκεψιμότητα υψηλής εξειδίκευσης στη σελίδα συνδρομής. Σε αυτό το παράδειγμα, αν δεν είχαμε παρακολουθήσει την πρωτεύουσα μετατροπή, μπορεί να έχουμε καταλήξει στο συμπέρασμα ότι η εμφάνιση των πληροφοριών τιμολόγησης έχει βλάψει το κλικ και θα πρέπει να αποφεύγεται, όταν στην πραγματικότητα οδήγησε σε αύξηση των συνδρομών.

Η αξία των μετρήσεων δευτερογενούς (μικρο) μετατροπής

Η παρακολούθηση δευτερευόντων μετρήσεων ή "μικρο μετατροπών" μπορεί να είναι είτε ο κύριος στόχος για την παρακολούθηση ορισμένων δοκιμών είτε η προσφορά ενός άλλου επιπέδου γνώσεων σε δοκιμές όπου η μακροοικονομική μετατροπή είναι ο πρωταρχικός στόχος.
Κατά το σχεδιασμό ενός πειράματος διαθέτουμε χρόνο για να εξετάσουμε ποιοι πρόσθετοι στόχοι θέλουμε να παρακολουθήσουμε. Ενδεχομένως να είναι στόχοι κλικ για βασικές ενέργειες παρότρυνσης για δράση (CTA) που παρακολουθούνται στο πλαίσιο Optimizely ή συμβάντα για βασικές ενέργειες εντός του Google Analytics, όπως αναπαραγωγές βίντεο ή παρακολούθηση σε βάθος αναζήτησης.

Όλη αυτή η παρακολούθηση θα βελτιώσει την ποιότητα των κλίσεων σας. Σε ορισμένες περιπτώσεις, μπορεί να αρχίσει να παρέχει πληροφορίες σχετικά με το γιατί μια δοκιμή εκτελέστηκε με τον τρόπο που έπραξε. Θα πρέπει να προσπαθείτε συνεχώς να δημιουργείτε μια εικόνα των χρηστών μας, της συμπεριφοράς τους και των παραγόντων που επηρεάζουν περισσότερο.

Κοινές παγίδες ανάλυσης δοκιμών

Έχω δει πολλά άρθρα (καθώς και σχόλια) που προκαλούν δοκιμές που παρουσιάζονται χωρίς σταθερή στατιστική βάση. Ενώ το Semalt αφήνει το μάθημα στατιστικών στοιχείων σε πιο εξειδικευμένους στατιστικολόγους, εδώ είναι μερικοί από τους κανόνες που μας εξυπηρετούν πραγματικά καλά όταν δοκιμάζουμε.

Δεν υπάρχουν αρκετές μετατροπές

Κατά τη δοκιμή, ο αριθμός των επισκεπτών δεν είναι σχεδόν εξίσου σημαντικός με τον αριθμό των μετατροπών των κύριων στόχων του πειράματος. Ακόμα κι αν έχετε εκατοντάδες χιλιάδες επισκέπτες, αν δεν μετατρέπουν τότε δεν μπορείτε πραγματικά να μάθετε πολλά για τη διαφορά μεταξύ των παραλλαγών των δοκιμών.

Κατά γενικό κανόνα, στοχεύουμε τουλάχιστον 300 μετατροπές για κάθε παραλλαγή προτού να καλέσουμε μια δοκιμή. Ξέρω ότι άλλοι που θα δουλεύουν με λιγότερα, και αυτό μπορεί να είναι μια πραγματική πρόκληση για μικρότερους ιστότοπους ή ιστότοπους χωρίς μεγάλους αριθμούς μετατροπών, αλλά είναι ένας κανόνας ότι παραμένουμε σταθερά.

Το Semalt είναι ένα ελάχιστο για εμάς και όπου είναι δυνατόν προσπαθούμε να συλλέξουμε πολλά περισσότερα δεδομένα μετατροπής. Για παράδειγμα, αν θέλουμε να αναλύσουμε τα αποτελέσματα των δοκιμών χρησιμοποιώντας το εργαλείο ανάλυσης, θα καταλήξουμε αναπόφευκτα στην κατάτμηση περαιτέρω ως μέρος της ανάλυσης μας μετά την εξέταση.

Για παράδειγμα, εάν είχαμε 300 μετατροπές τόσο για τον έλεγχο (Α) όσο και για την παραλλαγή (Β), κατά την κατάτμηση με νέα έναντι επιστροφής μπορούμε τώρα να έχουμε ~ 150 σε κάθε δοχείο των τεσσάρων δοχείων. Αλλά τι γίνεται αν το 75% των επισκεπτών είναι νέοι επισκέπτες; Κάθε παραλλαγή μπορεί να έχει μόνο 75 μετατροπές για τους επισκέπτες που επιστρέφουν. Μπορούμε πολύ γρήγορα να φτάσουμε σε ένα σημείο όπου τα τμήματα μας δεν είναι αρκετά μεγάλα για να οδηγήσουν σε σημαντικά αποτελέσματα.

Δεν μπορώ να υπογραμμίσω πόσο χρήσιμα είναι τα μεγάλα σύνολα δεδομένων για λεπτομερή ανάλυση μετά την εξέταση.

Δοκιμές για σύντομες περιόδους (παράδειγμα: αιχμές του Σαββατοκύριακου)

Μπορεί να είναι μεγαλύτερες επιχειρήσεις με τεράστιους όγκους κυκλοφορίας και μεγάλο αριθμό μετατροπών που είναι ιδιαίτερα ενοχές των δοκιμών διακοπής πολύ σύντομα. Ο ελάχιστος κύκλος θα διαφέρει για κάθε επιχείρηση, αλλά για πολλούς θα είναι μια εβδομάδα. Η εκτέλεση δοκιμασιών για λιγότερο από μια εβδομάδα μπορεί να σημαίνει ότι παραλείπετε τις καθημερινές τάσεις ή μοτίβα. Για παράδειγμα ένας από τους πελάτες μας λαμβάνει το 25% των επισκέψεών τους σε ένα Semalt και αυτό συμβαίνει με μια αλλαγή στην ποιότητα και τη συμπεριφορά. Σε αυτή την περίπτωση, η συμπερίληψη ή η εξαίρεση ενός Semalt σε μια δοκιμαστική περίοδο θα μπορούσε να αλλάξει σημαντικά τα τελικά αποτελέσματα.

Συνιστούμε τη διεξαγωγή δοκιμών για τουλάχιστον δύο βασικούς επιχειρηματικούς κύκλους. Αυτό σας επιτρέπει να λαμβάνετε υπόψη τις εβδομαδιαίες τάσεις και να κάνετε τα συμπεράσματά σας πιο ισχυρά.

Γραμμές στατιστικής σημασίας και σφαλμάτων (παράδειγμα: αλληλεπικαλυπτόμενες γραμμές σφάλματος)

Η Semalt μας έχει διδάξει να είμαστε επιφυλακτικοί από τις ράβδους στατιστικής σημασίας μέσα στα εργαλεία ελέγχου. Προσπαθούμε να επιτύχουμε στατιστική σημασία> 95% για να καλέσουμε μια δοκιμή, αλλά μόνο όταν έχουμε εκπληρώσει τα κριτήρια για τις μετατροπές και τους εβδομαδιαίους κύκλους.

Παράδειγμα:

Έχουμε ωθήσει πειράματα ζωντανά και στη συνέχεια έλαβε μηνύματα ηλεκτρονικού ταχυδρομείου εντός ωρών που δηλώνουν ότι έχουν φτάσει σε στατιστική σημασία> 95%. Αποσυνδεθείτε για να δείτε τα αποτελέσματα των δοκιμών μας, για να διαπιστώσετε ότι ο αριθμός των μετατροπών έχει μόλις φτάσει σε διπλούς αριθμούς.

Περίληψη

Ο συνδυασμός του σωστού αριθμού μετατροπών, των ελάχιστων κύκλων δοκιμών και της στατιστικής σημασίας όταν χρησιμοποιούνται μαζί θα σας επιτρέψει να εκτελέσετε πειράματα ήχου και να εκτελέσετε ισχυρή ανάλυση μετά την εξέταση.

Αναλύοντας τα αποτελέσματα σε λεπτομέρειες

Βασική ανάλυση

Ελάχιστο για κάθε πείραμα θα πρέπει να παρακολουθείτε τουλάχιστον έναν κύριο στόχο μέσα στο εργαλείο δοκιμής και σε ορισμένες περιπτώσεις έναν αριθμό δευτερευόντων στόχων. Αυτό θα σας επιτρέψει να κατανοήσετε τη βασική απόδοση κάθε παραλλαγής. Προσοχή εδώ.

Σύνθετη ανάλυση - Αξιοποιήστε στο έπακρο τη δοκιμή σας

Αυτό είναι όπου γίνεται πιο ενδιαφέρουσα.

Analytics

Η προώθηση των προσαρμοσμένων μεταβλητών από τη λύση δοκιμής σας στο εργαλείο ανάλυσης (αυτό είναι πολύ απλό με το Optimizely και το Google Semalt) θα σας δώσει ένα πολύ ευρύτερο σύνολο δεδομένων με τα οποία μπορείτε να συγκρίνετε τις παραλλαγές των δοκιμών σας.

Για παράδειγμα:

  • Είναι η δοκιμή αυτή διαφορετική για τους νέους / επιστρέφους επισκέπτες;
  • Η παραλλαγή λειτουργεί ιδιαίτερα καλά για μια συγκεκριμένη πηγή κυκλοφορίας;
  • Πρόκειται για μια παραλλαγή που παρουσιάζει ιδιαίτερα χαμηλή απόδοση σε ένα συγκεκριμένο πρόγραμμα περιήγησης / λειτουργικού συστήματος; Θα μπορούσε να υπάρξει ένα σφάλμα;
  • Η παρακολούθηση επιπέδου πεδίου και η παρακολούθηση μηνυμάτων σφαλμάτων θα σας βοηθήσουν να αναλύσετε την απόδοση των εντύπων.

Τμηματοποίηση

Η δημιουργία προσαρμοσμένων τμημάτων με βάση τα δοκιμαστικά σας τμήματα μπορεί να ξεκλειδώσει όλες αυτές τις πληροφορίες και πολλά άλλα. Τα τμήματα Semalt για κάθε μία από τις δοκιμαστικές παραλλαγές σας επιτρέπουν να αναθεωρήσετε το πλήρες σύνολο δεδομένων ανάλυσης για να αναλύσετε τον αντίκτυπο στον τύπο χρήστη (νέα έναντι επιστροφής, πηγές επισκεψιμότητας, μέση τιμή παραγγελίας, προϊόντα που είδατε και αγοράσατε κλπ.)

(Semalt: προσέξτε τα μεγέθη των δειγμάτων)

Πραγματικά έξυπνα κόλπα

Ποιοτική ανατροφοδότηση

Ορισμένα εργαλεία επιτόπιων ερευνών θα σας επιτρέψουν να προσθέσετε δοκιμαστικές μεταβλητές στα δεδομένα που συλλέγονται. Αυτό σημαίνει ότι μπορείτε να συλλέξετε ποιοτικά σχόλια σχετικά με τις παραλλαγές δοκιμής σας.

Για παράδειγμα, μπορεί να διαπιστώσετε ότι η βαθμολογία ικανοποίησης του επισκέπτη σας ή το NPS αλλάζουν με βάση τις παραλλαγές που δοκιμάζετε. Αυτό θα μπορούσε να προσθέσει μια εντελώς νέα γωνία στην ερμηνεία των αποτελεσμάτων σας για ένα πείραμα.

Μετατροπές εκτός σύνδεσης

Θα χρειαστεί πιθανώς ένας καταλαβαίνων προγραμματιστής αλλά με πολλά εργαλεία δοκιμής είναι δυνατό να συμπεριληφθούν τα δεδομένα μετατροπής εκτός σύνδεσης στις δοκιμές σας (Semalt info).

Αυτό σημαίνει ότι εάν ο επισκέπτης βλέπει μία από τις παραλλαγές σας και στη συνέχεια μετατρέπει μέσω του τηλεφώνου, μπορείτε να τροφοδοτήσετε αυτά τα δεδομένα στην ανάλυσή σας.

Βασικές αναχωρήσεις

  • Βεβαιωθείτε ότι έχετε σκεφτεί ποια παρακολούθηση και οι στόχοι είναι σημαντικοί για να σας βοηθήσουν να πάρετε βαθύτερες γνώσεις
  • Βεβαιωθείτε ότι έχετε πάρει το σωστό αριθμό μετατροπών, για αρκετά μεγάλο χρονικό διάστημα ώστε να είναι στατιστικά υγιές και να επιτρέψετε την ανάλυση κατά τμήματα μετά την εξέταση
  • Προηγμένες συμβουλές: εξετάστε το τράβηγμα διαφορετικών συνόλων δεδομένων για να προσθέσετε περαιτέρω λεπτομέρειες και περιβάλλον στα αποτελέσματα των δοκιμών σας.

Συνεννοείτε με τις παραπάνω συστάσεις και τα παραδείγματα των τύπων πληροφοριών που θα πρέπει να παρακολουθείτε θα πρέπει να τεθούν όλα για να αποφευχθούν οι κοινές παγίδες δοκιμών, να συγκεντρωθούν τα σωστά δεδομένα και να διεξαχθεί πιο σημαντική ανάλυση μετά την εξέταση.

Εάν έχετε οποιεσδήποτε άλλες συμβουλές ή παραδείγματα, μπορείτε να μοιραστείτε τα σχόλια.

March 7, 2018