Dual Cat
Comment implémenter un processus de recherche utilisateur dans petit studio de jeu vidéo mobile ?
Sept. 2021 → Jan. 2023 (1 an et 3 mois)
Games User Researcher - Employé
Contexte
Dual Cat est un studio de développement qui édite des jeux vidéo mobiles dans la catégorie Hypercasual : des jeux très simples et courts dont le modèle économique repose essentiellement sur la publicité (cette position a évolué depuis). J'ai été embauché pour occuper un tout nouveau poste.
Après l'augmentation des revenus déclenchée par les premiers succès (voir exemples ci-dessous), une stratégie de recrutement a été mise en place et la recherche utilisateur a été l'un des axes d'investissement. Cette recherche avait déjà fait l’objet de quelques efforts dans le passé, mais personne n’était exclusivement positionné dans ce rôle. Cela montrait néanmoins un certain intérêt pour cette philosophie et sa potentielle valeur ajoutée.
Long Neck Run
Bubble Tea
Mes responsabilités
Développer un processus de recherche d'utilisateurs rapide et robuste pour suivre le processus de développement de chaque jeu.
Développer la connaissance des joueurs grâce au développement de personas. Ces personas doivent permettre une meilleure acquisition grâce à des contenus publicitaires plus pertinents.
Évangéliser les applications de l'UX et de la psychologie dans le contexte du développement de jeux vidéo.
“J'ai eu le plaisir de travailler avec Matthieu pendant 18 mois chez Dual Cat, où il était en charge de plusieurs projets UX. Durant cette période, j'ai été constamment impressionné par sa capacité à travailler de manière indépendante et à gérer efficacement les partenaires. Matthieu a joué un rôle clé dans l'industrialisation de notre processus de tests en apportant une base théorique solide à notre travail, avec un accent particulier sur la pédagogie. Il est passionné à la fois par les jeux vidéo et par la psychologie, ce qui le rend particulièrement qualifié pour la recherche utilisateur dans ce domaine. Bref, si vous recherchez un chercheur utilisateur capable de propulser votre produit vers le succès, je vous recommande fortement d'embaucher Matthieu. C'est un professionnel talentueux et dévoué qui aura certainement un impact positif sur n'importe quelle équipe.”
Alexandre Aminot, Co-foundateur, Dual Cat
“Le travail de Matthieu avec PlaytestCloud démontre une volonté d’innover tout en employant aussi les meilleures pratiques en matière de recherche sur les utilisateurs de jeux. Il a également fourni de précieux commentaires que notre équipe produit a intégré aux nouvelles fonctionnalités. Qu'il s'agisse de discuter des objectifs de recherche, de planifier des projets, de négocier des abonnements; Matthieu a toujours opéré avec un excellent niveau de communication et de professionnalisme.”
Peter Joyes, Senior Business Development Manager, PlaytestCloud
Méthodologie
Outcome
En peu de temps, j’ai pu démontrer ce que la recherche utilisateur pouvait apporter au développement de jeux mobiles. J'ai enregistré des résultats et fait des progrès significatifs dans chacune de mes responsabilités :
Un partenariat fructueux a été scellé avec un partenaire externe : PlaytestCloud. Cela a permis au studio de tester plus de 50 jeux, dont des titres top charts totalisant plus de 300 millions de téléchargements.
Un processus de tests utilisateurs répondant aux attentes a été mis en place et a connu plusieurs itérations. Le temps passé sur chaque jeu a été réduit de plus de 50% par rapport à un projet moyen du même type (recherche évaluative comme les tests utilisateurs).
Deux itérations ont été effectuées sur les personae. Au total, 15 ont été créés.
Un nouvel outil d'enquête en jeu a été développé et testé. Il a obtenu des résultats bien supérieurs à la moyenne avec un taux de réponse de 55 %.
Des méthodes intelligentes d'évangélisation ont été trouvées et appliquées. 3 ateliers percutants ont été organisés sur le thème de la psychologie dans la conception de jeux auprès des équipes de développement.
— Plus de détails ci-dessous ! —
Trouver la meilleure solution pour les tests utilisateurs
Besoins en test
Les exigences en matière de tests étaient les suivantes : pour chaque nouvelle idée de jeu à développer, deux tests utilisateurs devaient être effectués, un test de concept et un test de jeu. Si certains jeux rencontraient un succès significatif, des tests de jeu supplémentaires pourraient être programmés.
Le problème
Grâce à mon expérience en recherche, tant académique qu'appliquée, j'ai pu correctement anticiper que recruter les utilisateurs nécessaires pour répondre à ces besoins serait impossible sans une aide extérieure.
Un partenaire extérieur
Contrairement à des studios plus anciens et prévalents, Dual Cat ne disposait pas de canaux de communication ouverts pour accéder directement à des utilisateurs potentiels. Leur construction prendrait beaucoup de temps.
Afin de résoudre cette contrainte, j'ai rapidement reconnu la nécessité de faire appel à un partenaire externe. J'ai donc élaboré le plan d'action suivant :
Mener une étude comparative de tout partenaire potentiel
Établir des relations avec chacun
Négocier les propositions
Dans mon étude, j'ai considéré Userlytics, Testapic, Tandemz & PlaytestCloud.
PlaytestCloud avait un avantage clé : c'est une structure spécialisée dans le jeu vidéo et donc disposait d'options pertinentes et pratiques comme la possibilité de cibler directement le profil de joueur souhaité avec de nombreuses variables. Elles étaient facilement disponibles sans avoir à passer par un questionnaire de présélection.
C'était également une entreprise qui connaissait une croissance constante et mettait fréquemment à jour ses outils avec des options qui pourraient s'avérer utiles à plus long terme.
Quelle modalité pour les tests ?
Faire une première itération d'un nouveau processus avec des tests non modérés et à distance m'a semblé être une bonne base. L’objectif étant ensuite de pouvoir itérer sur ces méthodes pour maîtriser le processus puis ajouter des tests modérés.
Cette approche m'a permis d'expérimenter rapidement :
Différents protocoles de tests
Différentes manières de rédiger les rapports de tests
Différentes manières de présenter et d'articuler l'information à transmettre
Besoin rapide des premiers personae
Le problème
L’équipe marketing a rapidement exprimé le besoin de disposer d’une première version. Ce besoin a été catalysé par la perte des identifiants publicitaires (IDFA pour Apple / AAID pour Google) qui ne permettaient plus de vérifier les performances de ce type de contenu, ce qui perturbait l'acquisition d'utilisateurs.
La contribution potentielle des personae
Une stratégie proposée pour s'adapter à ce changement majeur consiste à étudier les motivations des joueurs spécifiques à la base de joueurs identifiée (pas seulement leur comportement) et à les transformer en publicités pertinentes.
Source : Brain Labs Digital
Une première version
Avec le temps et les ressources disponibles, je ne pouvais qu'espérer fournir des « proto-persona » (selon la classification de NNg), c'est-à-dire des personae de base compilées à partir de deux sources d'informations immédiatement disponibles :
retours de membres et de chefs d’équipes expérimentés
données publiées dans les différents rapports des structures compétentes
En menant cette phase rapide de recherche secondaire, j'ai pu définir 5 personae en quelques semaines (exemple ci-dessous).
Helen, the fun matriach
Aller plus loin
Après quelques mois d'utilisation, j'ai cherché à construire une deuxième version, plus complète.
Pour y parvenir, j'ai profité de la possibilité d'inclure dans et après chaque test sur PlaytestCloud (quelle que soit la méthode choisie) une série de 10 questions. Une partie de ces questions était réservée à ce qui s'était passé pendant le test mais le reste pouvait être utilisé pour collecter des données sur les motivations des joueurs. Les tests étant très réguliers, j'ai pu constituer rapidement une large base de données pour analyse.
Le processus de test a donc été optimisé pour répondre à la fois aux besoins en retours spécifiques pour chaque jeu mais aussi aux besoins plus globaux de recherche utilisateur.
En parcourant de plus en plus de rapports et en les croisant avec ma base de données, j'ai construit 10 nouveaux personas plus spécifiques. J'ai également pu développer une méthode plus précise de suivi de leur utilisation.
Cette nouvelle version a été présentée à tout le studio.
Arlo, the aspiring student
Une autre initiative
Enquête en jeu
Pour pouvoir extraire des retours d'expériences des joueurs présents sur les jeux Dual Cat déjà sortis, les options étaient limitées. Certains studios plus grands et plus anciens peuvent tirer parti de leur visibilité pour établir un dialogue direct via des forums ou des serveurs Discord. Ces studios ont une communauté et c'est une excellente source de données (même si elle ne doit pas être la seule).
Il reste cependant une option : interroger les joueurs directement dans le jeu via un questionnaire qui apparaît après avoir terminé un niveau (par exemple).
J'ai pu mener ce projet en prototypant l'outil (voir exemples ci-dessous). Un premier test réussi a eu lieu : le taux de réponse a été de 55%, ce qui est un excellent résultat par rapport aux chiffres habituels (33% ou 13% dans les questionnaires postés dans les applications en général).
2 pages d’exemple en basse fidélité de la maquette qui a été testée.
Une évangelisation pertinente
Des connaissances pratiques
L’une des leçons les plus importantes de la psychologie est que l’apprentissage est plus facile s’il se fait en contexte.
Un bon moyen de transmettre les connaissances les plus pertinentes pour le game design était donc de les mettre en valeur dans les jeux évalués régulièrement par le studio mais aussi ceux joués par les développeurs.
Afin d'obtenir une sélection des connaissances les plus appropriées, certains ouvrages représentent une bonne sélection des informations à transmettre (voir exemples ci-dessous).
Gamer’s brain (2017) - Celia Hodent
Bottlenecks (2017) - David C. Evans
J'ai pu réaliser une dizaine d'analyses de jeux mobiles, illustrant à chaque fois 2 ou 3 notions d'UX, de psychologie ou d'économie comportementale, cette dernière étant extrêmement importante pour les problématiques de monétisation.
J'ai également pu apporter une analyse plus approfondie sur les jeux hybrides (à mi-chemin entre les jeux hypercasual et casual) afin d'accompagner au mieux la transition du studio vers le développement de ce type de jeu.
Leçons principales
Arriver à un tout nouveau poste est un défi important : le processus a presque dû être construit à partir de rien sous une série de contraintes importantes. Des contraintes importantes de temps, de budget mais surtout aussi plus théoriques avec de nouvelles questions de recherche avec peu de données disponibles l'hypercasual étant à l’époque un segment nouveau et unique. Les connaissances classiques en psychologie s’appliquent-elles dans cet écosystème de la même manière que dans le reste des jeux mobiles ou des jeux dans leur ensemble?
J'ai pu me confronter avec succès à la création de personae, un exercice difficile avec lequel je n'étais pas forcément à l'aise auparavant.
J'ai pu avoir un impact très fort sur les développeurs grâce à deux éléments. Tout d’abord, une évangélisation ludique et efficace des connaissances en UX et psychologie pour le game design. Deuxièmement, les itérations sur les rapports de tests m'ont permis de trouver une formule claire et percutante accompagnée par des illustrations vidéo soigneusement sélectionnées.
J'ai également pu progresser sur Notion et sur la façon d'utiliser un tel outil pour faciliter l'organisation, le partage et la centralisation des connaissances, qui est un enjeu clé dans de nombreuses structures. Ce fut l'occasion d'intégrer une approche d’atomic research à travers la mise en place d'un référentiel de recherche (research repository).
Grâce à cette expérience, j'ai pu comprendre sur quels axes travailler pour améliorer ma pratique de recherche utilisateur. La constitution d'un meilleur référentiel et une meilleure mesure de l'impact de ces recherches en sont deux points majeurs.
Enfin, grâce à cette expérience j'ai pu démontrer ma capacité à travailler de manière autonome et à rester motivé. Cependant, et c'est sans doute le seul point négatif de cette expérience, j'aurais apprécié travailler en équipe afin de pouvoir plus facilement avoir une perspective extérieure sur mon travail et échanger des idées plus facilement.
Conclusion
Malheureusement, mon aventure chez Dual Cat s'est terminée à cause d'une conjoncture globale défavorable et d’un changement du marché des jeux mobiles, le studio ayant dû se restructurer comme beaucoup d'autres. J’ai néanmoins réussi à faire des progrès significatifs sur toutes mes missions dans une époque riche en enseignements et en personnes mémorables.