Chaque test, et chaque variante, reçoit un niveau. Le niveau indique la solidité du résultat, pas son sens ; le sens se lit à la couleur : bleu pour un gain, orange pour une perte, gris pour un écart nul. Sur un indicateur secondaire, une hausse compte comme un gain, sauf si le test indique « plus bas = mieux » (le bleu et l'orange s'inversent) ou « indifférent » (la fourchette reste grise) ; ses zones s'appellent alors « Baisse marquée », « Faible écart » et « Hausse marquée ».
Deux autres marques se lisent à part :
Le seuil est le plus petit effet qui vous intéresse, en pourcentage de la moyenne du témoin. La fourchette est l'intervalle où se situe très probablement l'effet réel de la variante. La réglette les montre ensemble : trois zones, « Perte qui compte », « Sans importance » et « Gain qui compte », séparées par −seuil et +seuil, avec une ligne à 0. La barre est la fourchette. Sur un test à taille d'échantillon fixée, le point est l'estimation. Un test séquentiel n'a pas de point : sa fourchette est l'intersection des fourchettes de chaque jour, si bien que l'écart du jour n'en est pas le centre.
Quand l'indicateur principal est un revenu analysé en échelle log1p, c'est-à-dire ln(1 + revenu), le seuil, l'écart et la fourchette sont des pourcentages de la moyenne de ln(1 + revenu) du témoin. Ce ne sont pas des écarts de revenu : selon la forme de l'effet, un même seuil correspond à des écarts de revenu différents.
Sur un indicateur ajusté par CUPED, une méthode qui réduit le bruit en tenant compte de ce que chaque joueur faisait avant d'entrer dans le test, l'écart et la fourchette sont des pourcentages de la moyenne du témoin avant l'ajustement ; quand cette moyenne est nulle, aucun pourcentage n'est donné.
Dans un test séquentiel, la fourchette est recalculée chaque jour, et le test s'arrête de lui-même dès qu'elle se place nettement par rapport au seuil : au-delà de +seuil, en dessous de −seuil, ou entièrement entre les deux ; jamais avant la durée minimale, 14 jours par défaut. Que la fourchette exclue 0 ne suffit pas : un gain ou une perte prouvés continuent d'être mesurés jusqu'à ce qu'on sache s'ils dépassent le seuil, dans un sens comme dans l'autre ; les garde-fous et l'arrêt manuel protègent le test en attendant. À la date de fin, un test dont la fourchette reste à cheval sur une ligne du seuil est non concluant. Un test à taille d'échantillon fixée, lui, ne se lit qu'une fois tous les joueurs prévus entrés.
« J7 » désigne ce que chaque joueur a fait du jour de son entrée dans le test (J0) au septième jour qui suit (J7) ; « depuis le début », tout ce qu'il a fait depuis son entrée. Le revenu J365 prédit à partir de J15 est le revenu des 365 premiers jours : observé jusqu'à J15, puis complété par la prédiction du modèle ; un effet qui n'apparaît que plus tard est sous-estimé.
Un test suit des dizaines d'indicateurs secondaires ; quelques-uns s'écartent presque toujours par le seul hasard. Un écart est dit significatif quand il reste net après la correction de Benjamini–Hochberg, qui tient compte du nombre de comparaisons : en moyenne, 5 % au plus des écarts significatifs sont de faux signaux (au risque α habituel de 5 %). Avec k groupes, témoin compris, chaque comparaison au témoin se lit au risque α/(k−1) (correction de Bonferroni) ; les comparaisons entre variantes sont données pour information.
Test séquentiel : p valables à tout moment et fourchettes séquentielles (mSPRT). Indicateurs analysés à horizon fixe, dont les indicateurs « à date » : quand les deux groupes comparés comptent chacun au moins 10 000 joueurs, dont au moins dix qui s'écartent de la valeur la plus courante, et que le plus grand ne dépasse pas le plus petit de plus de 25 %, p d'un test de Welch bilatéral et fourchette de Welch sur la différence des moyennes ; à ces effectifs, cette différence suit presque exactement une loi normale, et le rééchantillonnage donnerait pratiquement la même valeur de p, pour un calcul bien plus long. Sinon, test de permutation à deux échantillons, 10 000 permutations, bilatéral, avec une correction de +1 : p = (r + 1) / (permutations + 1), r étant le nombre de permutations dont l'écart est au moins aussi grand en valeur absolue ; fourchette par bootstrap des percentiles (10 000 rééchantillonnages). Une transformation log(1 + x) peut être appliquée avant l'analyse pour les distributions très asymétriques.
Le panneau « Lecture bayésienne » traduit un résultat classique en probabilités, avec un modèle normal conjugué et un a priori uniforme : la probabilité qu'un groupe fasse mieux, Φ(écart observé / erreur type), l'erreur type étant tirée de la largeur de la fourchette (dans l'aperçu d'un nouveau test, de l'écart type des groupes) ; la probabilité que B fasse mieux que A de plus du seuil, Φ((écart observé − seuil) / erreur type) ; le coût moyen par joueur du choix de A, E[max(B − A, 0)], qui compte pour zéro les cas où A fait vraiment mieux, et de même pour B. « Faire mieux » s'entend selon le sens favorable de l'indicateur : quand une baisse est favorable, l'écart est pris dans l'autre sens, A − B ; sur un indicateur indifférent, seule la moyenne la plus élevée est donnée, sans coût. L'a priori étant uniforme, ces probabilités reposent sur les mêmes données que le test ; elles les expriment autrement. Le bouton « Vérifier par simulation » permet de refaire le calcul avec un échantillonneur de Metropolis–Hastings (550 000 itérations, dont 50 000 de chauffe) : les deux résultats doivent concorder à 1 % près environ.
Connectez-vous avec votre compte Google pour continuer.
Se connecter avec GoogleSans configuration OAuth, le site fonctionne sans authentification. Renseignez GOOGLE_CLIENT_ID et GOOGLE_CLIENT_SECRET dans le fichier .env pour activer la connexion.