Navigation – Plan du site

Experts ou (foule de) non-experts ?
la question de l’expertise des annotateurs vue de la myriadisation (crowdsourcing)

Karën Fort

Résumés

L’annotation manuelle de corpus est de plus en plus réalisée par myriadisation : produite par une masse de gens, via le Web, bénévolement ou à très faible coût. Nos expériences remettent en question une vision communément répandue : la myriadisation ne consiste pas à faire produire des données à une foule de non-experts, mais plutôt à identifier des experts de la tâche (en l’occurrence, d’annotation) dans la foule. Elles contribuent en ce sens à la réflexion sur l’expertise des annotateurs de corpus.

Haut de page

Texte intégral

1 Le flou de l’expertise des annotateurs

1La question de l’expertise des annotateurs revient régulièrement dans les articles de recherche traitant d’annotation manuelle, mais elle est finalement peu considérée en tant que telle. Les auteurs parlent d’annotateurs « experts », les opposant parfois à des annotateurs « naïfs » (voir, par exemple [25] ou [29]), sans pour autant définir ces termes, sans doute parce qu’ils semblent évidents, ou peut-être parce que cela ouvrirait la boîte de Pandore du jugement d’acceptabilité (et de ses « correspondants » pour d’autres domaines de la langue que la syntaxe). Parfois, le détail de la formation des annotateurs est donné [25] ou il est précisé qu’ils sont des « experts du domaine » [6].

  • 1 Le fil de discussion avait pour titre : « Trends in Clinical NLP (Jon Patrick) ».

2Cette ambiguïté de la définition de l’expertise des annotateurs est évidente dans les domaines de spécialité, comme le biomédical. Un débat nourri a ainsi eu lieu début octobre 2012 sur la liste de diffusion BioNLP1 concernant le type d’expert le plus efficace pour annoter des éléments « linguistiques » (ou pour le traitement automatique des langues) dans un corpus biomédical, par exemple des entités nommées (noms de protéines, de gènes) : un spécialiste en biomédical ou en linguistique ?

3Amber Stubs distingue ainsi les linguistes des experts, qui sont pour elle des médecins ou des experts en biomédecine [28]. Cependant, cette distinction nous paraît trop superficielle et limitée à un seul domaine.

4Pour illustrer la question, considérons l’exemple suivant, provenant du corpus Sequoia [7], annoté en syntaxe :

« Pour les SCA, la durée de la perfusion dépend de la manière dont le SCA doit être traité : elle peut durer jusqu’à 72 heures au maximum chez les patients devant recevoir des médicaments. »

5Que serait un expert dans ce cas ? Le sous-corpus (EMEA) est du domaine de la pharmacologie et l’annotation est de type linguistique (syntaxe). Faudrait-il un linguiste ? Un pharmacien ? Est-ce qu’un locuteur du français, sans connaissances en syntaxe ou en pharmacologie, mais formé à la tâche, pourrait annoter ce type de phrase ? Avec quelle qualité ? Serait-il alors un expert ? Un non-expert ?

6Il est selon nous fondamental de distinguer non pas entre experts et non-experts, mais entre trois types d’expertise :

  1. l’expertise du domaine du corpus (ici, la pharmacologie),

  2. l’expertise du domaine de l’annotation (ici, la syntaxe),

  3. l’expertise de la tâche : ici, annoter des relations syntaxiques avec tel ou tel outil, selon tel guide d’annotation.

7Nous montrons dans les sections suivantes une illustration de l’utilité de cette distinction dans la myriadisation pour l’annotation de corpus.

2 L’annotation de corpus par myriadisation

2.1 Des myriadisationS

  • 2 Cette traduction de crowdsourcing a été proposée par Gilles Adda dans [28]. Nous la reprenons ici à (...)

8La myriadisation2 est l’activité qui consiste à faire produire (des annotations sur un corpus, un dessin, un vote, etc.) à une masse de gens, aujourd’hui principalement via le Web, bénévolement ou à très bas prix. Étant donné le coût très élevé de l’annotation manuelle – l’annotation du Prague Dependency Treebank a ainsi été évaluée à 600 000 dollars américain [3] – on peut s’attendre à ce que la myriadisation devienne une méthode de production de données privilégiée par les agences de moyens. Il est donc urgent de mieux comprendre ce phénomène pour mieux le maîtriser.

9Il existe différents types de myriadisation, que l’on peut considérer selon des taxinomies variées (voir [19]). Nous proposons ici de prendre en compte comme critères :

  1. la rémunération (ou non),

  2. la connaissance (ou non) de la donnée produite.

10Cela nous permet de distinguer trois principaux types de myriadisation. Le premier est bénévole et en connaissance, comme l’encyclopédie collaborative Wikipédia3 ou le projet Gutenberg4 de numérisation de livres libres de droits. Le deuxième type concerne les « jeux ayant un but » (Games With a Purpose, GWAP), qui restent bénévoles mais ne dévoilent pas forcément de manière immédiate le type de données produit. Enfin, un troisième type correspond à la myriadisation du travail parcellisé, autrement dit le travail micro-rémunéré dont la production est évidente, comme sur la plate-forme Amazon Mechanical Turk (AMT)5.

11Nous présentons ici rapidement ces deux derniers types, sachant que la définition large que nous donnons des jeux ayant un but couvre les interfaces ludiques et qu’il n’existe pas, à notre connaissance, de plateforme d’annotation collaborative bénévole non ludifiée.

2.2 Amazon Mechanical Turk : simplifier les tâches, réduire les droits

  • 6 Amazon prend bien entendu une commission sur chaque transaction.

12Amazon Mechanical Turk est une plateforme de myriadisation du travail parcellisé (microworking crowdsourcing) massivement utilisée aujourd’hui en Traitement Automatique des Langues (TAL), en particulier par les chercheurs américains. Le principe en est le suivant : des Requesters (par exemple des chercheurs en TAL) y proposent des micro-tâches (Human Intelligence Tasks, ou HIT) associées à des micro-rémunérations, dans le but qu’elles soient réalisées par les travailleurs inscrits (Turkers)6. C’est ce qu’on appelle l’« intelligence artificielle artificielle ».

13Les tâches y sont souvent non seulement décomposées, mais également simplifiées. Ainsi, une tâche consistant à reconnaître les relations d’inférences entre plusieurs phrases (inférence, neutralité ou contradiction) peut se retrouver réduite à la présentation d’une paire de phrases et à une question fermée du type « est-ce que la plupart des gens dirait que si la première phrase est vraie, alors la seconde doit l’être également ? » [4].

14Cette plateforme met clairement l’accent sur la rémunération, comme le montre la page d’accueil du site (reproduite en figure 1). Il n’est jamais fait mention de divertissement. Les travailleurs les plus productifs sur la plateforme considèrent d’ailleurs celle-ci comme une importante source de revenus [21]. Cependant, les rémunérations proposées sur Amazon Mechanical Turk sont très basses (1,25 $ de l’heure en moyenne, selon [26]). En outre, les Requesters peuvent tout simplement refuser de payer les Turkers, s’ils estiment que le travail réalisé n’est pas correct et ce sans même avoir à se justifier, ni auprès d’Amazon, ni auprès des Turkers incriminés (voir la partie entourée de rouge sur la figure 1).

Figure 1 : Page d’accueil d’Amazon Mechanical Turk : « Pay only when you’re satisfied with the results » (« Ne payez que lorsque vous êtes satisfaits des résultats »).

  • 7 Les Turkers ont créé des outils d’échange d’informations comme Turkopticon pour tenter de limiter c (...)

15Amazon Mechanical Turk ne propose aucun moyen symétrique pour bannir les Requesters qui se comportent de manière inacceptable, payant mal ou en retard, bannissant des Turkers sans raison valable ou définissant mal les tâches7. La relation de travail est par conséquent totalement déséquilibrée, ce qui est détaillé dans [20].

16Il faut ajouter à cela qu’il n’existe aucun lien direct entre Turkers et Requesters, puisque seul Amazon possède l’information de qui est derrière quel pseudo. Impossible, dès lors, de se syndiquer ou d’ester en justice contre un Requester abusif. Les Turkers n’ont aucun statut, aucun recours.

17Certains chercheurs en TAL ont pris le parti des Turkers. Outre nos efforts pour faire connaître la réalité d’Amazon Mechanical Turk [15, 27], des collègues ont tenté de formaliser de bonnes pratiques [1] et Chris Callison-Burch, un chercheur américain grand utilisateur d’Amazon Mechanical Turk, a créé un outil pour aider les Turkers a sélectionner les HIT les mieux rémunérées à l’heure [5].

18Depuis quelques années, l’accès à la plateforme semble limité aux Turkers américains mais les Turkers non américains déjà inscrits, en particulier les Indiens, représentent toujours un important contingent de participants. Le travail à la tâche étant très régulé en France, il serait pour l’instant illégal de proposer ce type de service. Pour autant, des plateformes similaires se sont déjà créées qui offrent des services semblables, quoi que limités (pour ne pas contrevenir au droit français).

19Enfin, les coûts très bas de la production de données langagières sur ces plateformes pourraient très rapidement devenir la norme pour les agences de moyens et bloquer le financement de ressources créées de manière traditionnelle. Il est donc fondamental de mieux décrire le type d’expert nécessaire, notamment pour l’annotation de corpus, afin de proposer des solutions alternatives permettant de produire des données de qualité de manière éthique.

20Les jeux ayant un but représentent de ce point de vue une solution prometteuse.

2.3 Jeux ayant un but : décomposer les tâches, offrir du divertissement

21Selon Mathieu Lafourcade, l’un des précurseurs dans le domaine, un jeu ayant un but est un jeu qui est utile pour une communauté (de chercheurs, par exemple) mais qui reste un vrai jeu pour les joueurs :

22« les GWAP sont des jeux, oui mais des jeux utiles ; ce sont des jeux utiles, oui mais des jeux. Ils sont utiles pour la communauté, ce sont des jeux pour les joueurs. » [23]

23Cette définition sous-entend que les joueurs ne participent que pour le plaisir de jouer, ce qui selon nous sous-estime l’importance donnée par certains joueurs à leur participation à un projet (de recherche, en l’occurrence). D’autres plateformes de sciences participatives ont en effet montré l’influence de cette motivation sur la participation des gens. C’est le cas en particulier de Vigie Nature [12]. Nous proposons donc une définition plus ouverte :

24Definition 1 un jeu ayant un but est une plateforme récréative (une interface ludique ou un jeu complet) grâce à laquelle des participants volontaires produisent des données en faisant appel à leurs connaissances ou à leurs capacités d’apprentissage.

25Les premiers jeux ayant un but se limitaient à faire appel aux connaissances du monde des joueurs, par exemple pour étiqueter des images (dans ESP game [31]) ou pour faire des associations d’idées (dans JeuxDeMots [24]). Le succès de ce type de jeux a été fulgurant : ESP game a généré des annotations sur 350 000 images et JeuxDeMots a permis la création d’un réseau lexical contenant plus de 47 millions de relations et 800 000 termes et entités nommées8.

  • 9 Voir https://anawiki.essex.ac.uk/phrasedetectives/.

26D’autres jeux ont ensuite été développés, qui reposaient sur les connaissances scolaires des joueurs. C’est par exemple le cas de Phrase Detectives [10], dont les joueurs ont annoté les anaphores et les propriétés (nous y reviendrons plus loin) d’un corpus de 200 000 mots9.

27Plus récemment, des chercheurs ont réussi à concevoir des jeux ayant un but pour des tâches complexes, qui impliquent de former les participants et qui reposent donc sur leurs capacités d’apprentissage. FoldIt a ainsi permis à une équipe de joueurs de résoudre en quelques semaines la structure cristalline d’une protéase rétrovirale (un virus responsable du SIDA chez les singes), un problème dont la solution échappait aux chercheurs depuis plus de dix ans [22].

28ZombiLingo fait partie de cette dernière famille de jeux10. En effet, l’annotation en syntaxe de dépendances est considérée (à juste titre) comme une tâche très complexe (voir figure 2), certains spécialistes des jeux ayant un but la jugeant même impossible à faire réaliser par un jeu [23]. Elle consiste à relier chaque « tête » syntaxique à son ou ses dépendants, en indiquant le type de la relation. Ainsi, dans l’exemple proposé dans la figure 2, le verbe « espère » a pour dépendants « j'« et « que », le premier par une relation sujet (suj) et le second par une relation objet (obj). Le guide d’annotation de ce type de tâche représente une centaine de pages.

Figure 3 : Annotation d’un phénomène avec ZombiLingo [16]

  • 11 La réponse correcte est « perfusion ». Merci d’avoir joué !

29Afin de rendre la tâche réalisable, nous avons décidé d’une part de pré-annoter le corpus avec un outil automatique (pour le français, l’analyseur syntaxique Talismane [30]) et d’autre part de la décomposer non pas en phrases, mais en phénomènes (ou types de relations). Autrement dit, le joueur suit la formation concernant un phénomène (Sujet, Affixe, etc.), puis il se voit proposé une phrase dont une unité lexicale est surlignée, il doit alors sélectionner la tête de la dépendance, selon le phénomène en question, dans la phrase. Ainsi, dans l’exemple proposé ci-dessus, si le phénomène en cours est Sujet et si « espère » est surligné, le joueur doit cliquer sur « j'« . Dans la figure 3, le joueur doit sélectionner, comme indiqué, la tête introduite par la préposition « de »11.

30À notre grande surprise, et malgré des fonctionnalités très limitées en terme de jouabilité dans la première version du jeu, nous avons obtenu plus de 20 000 annotations en une semaine (réalisées par environ 200 joueurs). Nous en sommes aujourd’hui (début 2016, peu avant la sortie de la version 2) à plus de 63 000 annotations pour 465 inscrits.

3 Redéfinir la myriadisation, élargir l’expertise

3.1 Une foule relative

  • 12 Voir https://requester.mturk.com/tour.

31Si AMT prétend depuis longtemps proposer les services de plus de 500 000 travailleurs12, nous avons montré que les Turkers (travailleurs) vraiment actifs n’étaient en 2010 qu’entre 15 059 et 42 912 [15].

32Le jeu Phrase Detectives, dont le but est d’annoter des relations anaphoriques dans des textes anglais, a quant à lui réuni plus de 2 000 joueurs en un an, mais 13 d’entre eux ont produit la majorité des données annotées (voir figure 4[8].

Figure 4 : Joueurs sur Phrase Detectives en fonction de leur classement en points (février 2011 - février 2012) [8]

33Il en va pratiquement de même pour ZombiLingo (voir figure 5).

Figure 5 : Joueurs sur ZombiLingo en fonction de leur classement en points.

34Dans tous les cas observés, peu de participants produisent beaucoup de données. La foule (crowd) n’est donc pas celle qu’on imagine.

35Le Trésor de la Langue Française, dans sa version informatisée, TLFi13, définit une foule (sens B) de la manière suivante : « La masse humaine, le commun des hommes, pris collectivement par opposition à l’élite intellectuelle, morale ou sociale qui en émerge. » Cette définition se focalise davantage sur la non-foule (l’élite) que sur la foule (la masse) et ne nous concerne donc qu’en négatif.

36Le terme d’origine, crowdsourcing, étant anglais, il est intéressant d’en regarder la définition dans cette langue. Selon le dictionnaire Merriam-Webster en ligne14, une foule (crowd) est avant tout « a large number of persons especially when collected together » (un grand nombre de personnes, en particulier pris ensemble), ce qui correspond à l’idée d’une multitude, sans pour autant que soit défini ce qu’est « un grand nombre ». La dizaine de participants les plus actifs sur Phrase Detectives peut difficilement être considérée comme une foule. Cependant, le troisième sens donné pour le mot est le suivant : « a group of people having something (as a habit, interest, or occupation) in common » (un groupe de personnes ayant quelque chose (une habitude, un intérêt, une activité) en commun), une définition centrée sur une activité commune plutôt que sur un nombre de participants.

  • 15 Pour autant, il est difficile d’en tirer des conclusions concernant d’hypothétiques différences ent (...)

37Cette vision de la foule, que l’on ne retrouve pas dans le TLFi, ni dans le Petit Robert15, correspond précisément à la foule de la myriadisation.

3.2 Des annotations de qualité

  • 16 La qualité des productions sur AMT est très variable et médiocre dès que les tâches sont un tant so (...)

38La qualité de la production des participants aux jeux ayant un but, quand elle est évaluable, est remarquable16.

  • 17 Ces résultats sous-estiment cependant le bruit produit par les joueurs (lorsqu’une relation est ide (...)

39Ainsi, l’accord inter-annotateur entre les annotateurs experts et les joueurs sur Phrase Detectives se situe entre 0,7 et 0,8 d’accord observé [9]. Ces chiffres sont très proches de ceux que nous obtenons sur le jeu ZombiLingo : des résultats préliminaires, récoltés sur une version encore non finalisée du jeu, montrent une moyenne d’exactitude de 0,86 sur les dix meilleurs joueurs (en enlevant le meilleur et le moins bon) et d’environ 0,9 sur la totalité des joueurs17 (dont la plupart ne jouent que des relations simples).

40Pour autant, ces très bons résultats ne sont pas généralisables à toutes les tâches dans tous les jeux ayant un but. Ainsi, dans Phrase Detectives, l’identification des « propriétés » a été un échec total, les joueurs obtenant une exactitude proche de 0. L’annotation de ce phénomène est en effet loin d’être évidente. Dans l’exemple suivant, postman est une propriété de Jon :

41Jon, the postman, delivered the letter [Jon, le facteur, a remis la lettre].

42Pratiquement aucun joueur n’a réussi à maîtriser ce type d’annotation. Cela est très probablement dû à un manque de formation sur le sujet, le tutoriel étant concentré sur l’anaphore plutôt que sur les propriétés.

43John Wilbur a démontré, dans le domaine de la biomédecine, d’une part que les individus non formés annotent moins bien (avec une précision inférieure) que ceux qui sont formés et, d’autre part, que le groupe d’annotateurs non formés obtient de meilleurs résultats que les individus formés pris séparément (alors que les meilleurs résultats sont obtenus par le groupe formés, pris collectivement) [32].

3.3 Des expertS

44Le TLFi18, définit un expert comme étant une personne : « Qui a acquis une grande habileté, un grand savoir-faire dans une profession, une discipline, grâce à une longue expérience. » Si l’expertise des participants est rarement celle de spécialistes du domaine ou de l’annotation portée, les joueurs, les travailleurs ou les bénévoles deviennent rapidement des experts de la tâche, mettant en œuvre toutes sortes de stratégies et créant parfois leurs propres outils, afin d’être plus efficaces [20]. La coopération qui peut se créer autour de la tâche et des outils entre les joueurs (notamment via le forum du jeu) participe de ce savoir-faire, tel que détaillé par Christophe Dejours dans [14].

45L’analyse de cas réels montre ainsi que myriadiser une production de données, notamment des corpus annotés, ne signifie pas faire annoter une foule de non-experts mais trouver et former des experts –de la tâche– dans la foule.

  • 19 FoldIt est un jeu ayant un but en 3D permettant de réaliser des repliements de protéines [22].

46La formation des annotateurs, dont il a été montré qu’elle est le levier principal permettant d’améliorer la qualité et la rapidité des annotations dans le cadre traditionnel [13, 2], est également fondamentale dans la myriadisation. Nous avons tout particulièrement mis l’accent sur celle-ci dans ZombiLingo en nous inspirant des expériences de Phrase Detectives [10] et de FoldIt19 [11]. Ainsi, les joueurs doivent passer par une phase de formation initiale (appelée tutoriel) sur chaque relation à annoter (par exemple, Sujet ou Affixe) avant de pouvoir commencer à jouer réellement, donc à annoter et à gagner des points. Lors de cette phase, les réponses des joueurs sont comparées à une référence et, en cas d’erreur du joueur, celle-ci lui est signalée et la réponse souhaitée lui est indiquée (voir figure 6).

Figure 6 : Phase de formation initiale dans ZombiLingo : correction d’une erreur.

47Nous avons suivi les recommandations de [2] et avons complété cette formation initiale par une évaluation tout au long du jeu : de temps à autre, les joueurs se voient proposés des phrases de référence sans qu’ils le sachent. S’ils annotent mal la relation, l’erreur est signalée et ils sont avertis qu’après trois annotations fautives, ils devront refaire la formation initiale sur ce type de relation. Par ailleurs, les joueurs ont la possibilité de choisir de refaire le tutoriel quand ils le souhaitent, ce qui peut se révéler nécessaire, notamment après une longue période sans jouer.

48Si la formation des annotateurs-joueurs est au centre des jeux ayant un but pour l’annotation manuelle de corpus, elle n’est pratiquement pas organisée dans le travail parcellisé. En particulier, Amazon Mechanical Turk ne prévoit pas de phase de formation en tant que telle. Les travailleurs (Turkers), qui sont à la merci d’un Requester qui pourrait décider de les exclure doivent se former par eux-mêmes, en se préparant à la tâche sans être rémunérés, ce qui génère un important travail caché mis au jour dans [20].

49Cela étant, certains Turkers se spécialisent dans un ou plusieurs types de tâches (HIT, pour Human Intelligence Task), et sont reconnus pour cela par les Requesters (qui ne les payent pas forcément mieux). Il existe par ailleurs un statut de Master (Maître), mieux payé, dont Amazon fait la publicité, qui n’est pas attribué par les Requesters, mais est obtenu, de manière peu transparente : « by consistently completing HITs of a certain type with a high degree of accuracy across a variety of requesters » (en réalisant avec constance et précision des tâches d’un certain type proposées par divers requesters)20. Les Requesters ne l’apprécient guère et préfèrent sélectionner leurs experts eux-mêmes21.

50Dans tous les cas, il est important de préciser qu’il n’est possible de former les participants à une tâche d’annotation qu’une fois celle-ci précisément définie. Or, cela implique de bien connaître la tâche, afin d’être à même d’en décomposer la complexité [17] pour la présenter sous forme de jeu. De même, mettre au point un guide d’annotation n’est pas chose aisée et une pré-campagne est nécessaire pour cela, incluant l’annotation en parallèle d’une mini-référence par des experts du domaine de l’annotation impliqués dans le projet, suivie d’une ou plusieurs phases d’adjudication [18].

4 Trouver les limites

51Les différentes expériences de jeux ayant un but présentées ici tendent à montrer qu’un jeu bien conçu, en particulier comportant une solide phase de formation et un protocole d’évaluation strict, peut permettre de réaliser des productions, notamment langagières, réputées complexes, sans soulever les problèmes éthiques posés par les plate-formes de myriadisation du travail parcellisé à la Amazon Mechanical Turk [15].

52La création de tels jeux nécessite cependant des compétences non seulement techniques (en technologies Web), mais également en matière de conception de jeux (ou, du moins, de plate-formes ludiques). Il est en effet fondamental d’attirer de nombreux joueurs, dont une sous-partie plus ou moins importante va constituer la communauté du jeu, qu’il faudra par la suite entretenir (gestion de communauté) et nourrir.

53Les limites, en l’occurrence, sont donc celles de notre imagination, de notre capacité à concevoir des jeux et des moyens techniques et humains disponibles, notamment pour gérer la communauté de joueurs. Elles sont également celles de notre capacité à dépasser les préjugés sur les capacités des uns et des autres et à s’affranchir des mythes de la myriadisation.

54Enfin, si les participants à ces expériences deviennent, on l’a vu, des experts de la tâche, ils ne sont pas des chercheurs ou des spécialistes, ni du domaine, ni de la démarche. Pour autant, ils peuvent avoir envie de savoir à quoi sert ce qu’ils produisent, comment cela s’inscrit dans un projet de recherche plus global, voire de faire des suggestions quant à la tâche ou au projet. Chaque partie (chercheur et participant) est ainsi nécessaire et à sa place.

Remerciements

55ZombiLingo a été créé en collaboration avec Bruno Guillaume, chercheur à Inria Grand-Est. Sans lui, le jeu n’existerait tout simplement pas. ZombiLingo bénéficie par ailleurs du soutien financier d’Inria et de la Délégation Générale à la Langue Française et aux Langues de France (DGLFLF) du Ministère de la culture, que nous remercions pour leur engagement.

56Nous remercions également Hadrien Chastant, Valentin Stern et Antoine Chemardin, qui ont participé à la conception et au développement de ZombiLingo à ses débuts. Enfin, merci à Nicolas Lefebvre, ingénieur jeune diplômé, grâce à qui une nouvelle version du jeu, présentant d’importants progrès en terme de jouabilité, a été mise en ligne début 2016.

57Par ailleurs, nous tenons à remercier ici les joueurs de ZombiLingo pour leur participation enthousiaste.

Haut de page

Bibliographie

[1] G. Adda, J. Mariani, L. Besacier and H. Gelas (2013) Economic and ethical background of crowdsourcing for speech. In Crowdsourcing for Speech Processing : Applications to Data Collection, Transcription and Assessment, pp. 303–334. External Links : ISBN 9781118358696, Link Cited by : 2.2.

[2] P. S. Bayerl and K. I. Paul (2011-12) What determines inter-coder agreement in manual annotations ? a meta-analytic investigation. Computational Linguistics 37 (4), pp. 699–725. External Links : Document, ISSN 0891-2017, Link Cited by : 3.3, 3.3.

[3] A. Böhmová, J. Hajič, E. Hajičová and B. Hladká (2001) The prague dependency treebank : three-level annotation scenario. In Treebanks : Building and Using Syntactically Annotated Corpora, A. Abeillé (Ed.), External Links : Link Cited by : 2.1.

[4] S. R. Bowman, G. Angeli, C. Potts and Manning (2015) A large annotated corpus for learning natural language inference. arXiv preprint arXiv :1508.05326. Cited by : 2.2.

[5] C. Callison-Burch (2014-11) Crowd-workers : aggregating information across turkers to help them find higher paying work. In The Second AAAI Conference on Human Computation and Crowdsourcing (HCOMP-2014), External Links : Link Cited by : 2.2.

[6] M. Candito, G. Perrier, B. Guillaume, C. Ribeyre, K. Fort, D. Seddah and E. de la Clergerie (2014-05) Deep syntax annotation of the sequoia french treebank. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014), reykjavik. Cited by : 1.

[7] M. Candito and D. Seddah (2012-06) Le corpus Sequoia : annotation syntaxique et exploitation pour l’adaptation d’analyseur par pont lexical. In actesTraitement Automatique des Langues Naturelles (TALN), Grenoble, France (Français). External Links : Link Cited by : 1.

[8] J. Chamberlain, K. Fort, U. Kruschwitz, M. Lafourcade and M. Poesio (2013) Using games to create language resources : successes and limitations of the approach. In The People’s Web Meets NLP, I. Gurevych and J. Kim (Eds.), Theory and Applications of Natural Language Processing, pp. 3–44 (English). External Links : Document, ISBN 978-3-642-35084-9, Link Cited by : Figure 4, 3.1.

[9] J. Chamberlain, U. Kruschwitz and M. Poesio (2009) Constructing an anaphorically annotated corpus with non-experts : assessing the quality of collaborative annotations. In Proceedings of the 2009 Workshop on The People’s Web Meets NLP : Collaboratively Constructed Semantic Resources, People’s Web ’09, Stroudsburg, PA, USA, pp. 57–62. External Links : ISBN 978-1-932432-55-8, Link Cited by : 3.2.

[10] J. Chamberlain, M. Poesio and U. Kruschwitz (2008) Addressing the resource bottleneck to create large-scale annotated texts. In STEP ’08 : Proceedings of the 2008 Conference on Semantics in Text Processing, Morristown, NJ, USA, pp. 375–380. External Links : Link Cited by : 2.3, 3.3.

[11] S. Cooper, A. Treuille, J. Barbero, A. Leaver-Fay, K. Tuite, F. Khatib, A. C. Snyder, M. Beenen, D. Salesin, D. Baker and Z. Popović (2010) The challenge of designing scientific discovery games. In Proceedings of the Fifth International Conference on the Foundations of Digital Games, FDG ’10, New York, NY, USA, pp. 40–47. External Links : Document, ISBN 978-1-60558-937-4, Link Cited by : 3.3.

[12] A. Cosquer, R. Raymond and A. Prevot-Julliard (2012) Observations of everyday biodiversity : a new perspective for conservation ?. Ecology and Society 17. External Links : Link Cited by : 2.3.

[13] S. Dandapat, P. Biswas, M. Choudhury and K. Bali (2009) Complex linguistic annotation - no easy way out ! a case from bangla and hindi POS labeling tasks. In Proceedings of the third ACL Linguistic Annotation Workshop, singapore. External Links : Link Cited by : 3.3.

[14] C. Dejours (2009) Travail vivant – 2 : travail et émancipation. Payot & Rivages, Paris. Cited by : 3.3.

[15] K. Fort, G. Adda and K. B. Cohen (2011-06) Amazon Mechanical Turk : gold mine or coal mine ?. Computational Linguistics (editorial) 37 (2), pp. 413–420. External Links : Document, Link Cited by : 2.2, 3.1, 3.2, 4.

[16] K. Fort, B. Guillaume and H. Chastant (2014-04) Creating Zombilingo, a Game With A Purpose for dependency syntax annotation. In Gamification for Information Retrieval (GamifIR’14) Workshop, Amsterdam, Pays-Bas (Anglais). External Links : Link Cited by : Figure 3.

[17] K. Fort, A. Nazarenko and S. Rosset (2012-12) Modeling the complexity of manual annotation tasks : a grid of analysis. In procInternational Conference on Computational Linguistics (COLING), mumbai, pp. 895–910. Cited by : 3.3.

[18] K. Fort (2012-12) Les ressources annotées, un enjeu pour l’analyse de contenu : vers une méthodologie de l’annotation manuelle de corpus. Ph.D. Thesis, Université Paris XIII, LIPN, INIST-CNRS. External Links : Link Cited by : 3.3.

[19] D. Geiger, S. Seedorf, T. Schulze, R. C. Nickerson and M. Schader (2011) Managing the crowd : towards a taxonomy of crowdsourcing processes. In AMCIS 2011 Proceedings, External Links : Link Cited by : 2.1.

[20] N. Gupta, D. Martin, B. V. Hanrahan and J. O’Neill (2014) Turk-life in india. In Proceedings of the 18th International Conference on Supporting Group Work, GROUP ’14, New York, NY, USA, pp. 1–11. External Links : Document, ISBN 978-1-4503-3043-5, Link Cited by : 2.2, 3.3, 3.3.

[21] P. Ipeirotis (2010-10) Mechanical turk requester activity : the insignificance of the long tail. Note : http://behind-the-enemy-lines.blogspot.com/2010/10/mechanical-turk-requester-activity.html Cited by : 2.2.

[22] F. Khatib, F. DiMaio, S. Cooper, M. Kazmierczyk, M. , S. Krzywda, H. Zabranska, I. Pichova, J. Thompson and Z. Popović (2011) Crystal structure of a monomeric retroviral protease solved by protein folding game players. Nature structural & molecular biology 18 (10), pp. 1175–1177. External Links : Link Cited by : 2.3, 3.3.

[23] M. Lafourcade, N. Lebrun and A. JoubertJ. Mariani and P. Paroubek (Eds.) (2015) Jeux et intelligence collective : résolution de problèmes et acquisition de données sur le web. Collection science cognitive et management des connaissances, ISTE. External Links : ISBN 9781784050528, Link Cited by : 2.3, 2.3.

[24] M. Lafourcade (2007-12) Making people play for lexical acquisition. In proc7th Symposium on Natural Language Processing (SNLP 2007), pattaya. External Links : Link Cited by : 2.3.

[25] M. Péry-Woodley, S. Afantenos and N. Ho-Dac (2011) La ressource ANNODIS, un corpus enrichi d’annotations discursives. Traitement Automatique des Langues 52 (3), pp. 71–101. External Links : Link Cited by : 1.

[26] J. Ross, L. Irani, M. S. Silberman, A. Zaldivar and B. (2010) Who are the crowdworkers ? : shifting demographics in mechanical turk. In Proceedings of the 28th of the international conference extended abstracts on Human factors in computing systems, CHI EA ’10, New York, NY, USA, pp. 2863–2872. External Links : Document, ISBN 978-1-60558-930-5, Link Cited by : 2.2.

[27] B. Sagot, K. Fort, G. Adda, J. Mariani and Lang (2011-06) Un turc mécanique pour les ressources linguistiques : critique de la myriadisation du travail parcellisé. In actesTraitement Automatique des Langues Naturelles (TALN), Montpellier, France. Note : 12 pages External Links : Link Cited by : 2.1, 2.2.

[28] A. Stubbs (2012) Developing specifications for light annotation tasks in the biomedical domain. In Proceedings of the Third Workshop on Building and Evaluating Resources for Biomedical Text Mining, istanbul. Cited by : 1.

[29] M. Tellier (2014) Quelques orientations méthodologiques pour étudier la gestuelle dans des corpus spontanés et semi-contrôlés. Discours 15. External Links : Document, Link Cited by : 1.

[30] A. Urieli (2013) Robust french syntax analysis : reconciling statistical methods and linguistic knowledge in the talismane toolkit. Ph.D. Thesis, Université de Toulouse II le Mirail, France. Cited by : 2.3.

[31] L. von Ahn and L. Dabbish (2004) Labeling images with a computer game. In procSIGCHI conference on Human factors in computing systems, CHI ’04, New York, NY, USA, pp. 319–326. External Links : Document, ISBN 1-58113-702-8, Link Cited by : 2.3.

[32] W. J. Wilbur (1998) A comparison of group and individual performance among subject experts and untrained workers at the document retrieval task. JASIS 49 (6), pp. 517–529. External Links : Document, Link Cited by : 3.2.

Haut de page

Notes

1 Le fil de discussion avait pour titre : « Trends in Clinical NLP (Jon Patrick) ».

2 Cette traduction de crowdsourcing a été proposée par Gilles Adda dans [28]. Nous la reprenons ici à notre compte, car elle nous semble illustrer mieux le phénomène que « production participative », sa traduction officielle.

3 Voir https://fr.wikipedia.org/.

4 Voir http://www.gutenberg.org/.

5 Voir https://www.mturk.com/mturk/welcome/.

6 Amazon prend bien entendu une commission sur chaque transaction.

7 Les Turkers ont créé des outils d’échange d’informations comme Turkopticon pour tenter de limiter ce déséquilibre : https://turkopticon.ucsd.edu/login.

8 Données disponibles au 30 décembre 2015 sur le site http://www.jeuxdemots.org/jdm-accueil.php.

9 Voir https://anawiki.essex.ac.uk/phrasedetectives/.

10 Voir http://zombilingo.org/.

11 La réponse correcte est « perfusion ». Merci d’avoir joué !

12 Voir https://requester.mturk.com/tour.

13 Voir http://www.cnrtl.fr/lexicographie/foule.

14 Voir http://www.merriam-webster.com/dictionary/crowd.

15 Pour autant, il est difficile d’en tirer des conclusions concernant d’hypothétiques différences entre le mot anglais crowd et le mot français foule.

16 La qualité des productions sur AMT est très variable et médiocre dès que les tâches sont un tant soit peu complexes [15].

17 Ces résultats sous-estiment cependant le bruit produit par les joueurs (lorsqu’une relation est identifiée là où elle ne devrait pas exister). Ce bruit est difficile à estimer et nous travaillons actuellement à une analyse de cette question. La nouvelle version du jeu qui doit sortir début 2016 prend ce point en compte et propose des améliorations dans la formation des joueurs.

18 Voir http://www.cnrtl.fr/lexicographie/expert.

19 FoldIt est un jeu ayant un but en 3D permettant de réaliser des repliements de protéines [22].

20 Voir : https://www.mturk.com/mturk/help ?helpPage =worker#what_is_master_worker.

21 Voir leur point de vue ici : http://turkrequesters.blogspot.fr/2012/11/
thought-masters-was-just-bad-for-non.html.

Haut de page

Pour citer cet article

Référence électronique

Karën Fort, « Experts ou (foule de) non-experts ?
la question de l’expertise des annotateurs vue de la myriadisation (crowdsourcing)
 », Corela [En ligne], HS-21 | 2017, mis en ligne le 20 février 2017, consulté le 23 juillet 2017. URL : http://corela.revues.org/4835 ; DOI : 10.4000/corela.4835

Haut de page

Auteur

Karën Fort

Université Paris-Sorbonne / EA STIH, Paris, France
karen.fort@paris-sorbonne.fr

Haut de page

Droits d’auteur

Licence Creative Commons
Corela – cognition, représentation, langage est mis à disposition selon les termes de la licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International.

Haut de page
  • Logo Université de Poitiers
  • Logo MSHS de Poitiers
  • Logo CerLiCO
  • Revues.org