Donner du sens à la science

Miracles et mirages du crowdsourcing

Miracles et mirages du crowdsourcing

07.05.2015, par
D’un côté, la foule participe à la science en fournissant données et observations. De l’autre, des travailleurs sont exploités sur la plateforme de microworking du géant du Web Amazon. L’informaticienne Karën Fort analyse les deux faces du phénomène « crowdsourcing ».

Une fois par mois, retrouvez sur notre site les Inédits du CNRS, des analyses scientifiques originales publiées en partenariat avec Libération.

Le crowdsourcing est une idée généreuse : la foule produit, bénévolement, pour la foule. Le site Wikipédia en est l’exemple phare, avec plus de 30 millions d’articles en 241 langues1 et plus de 800 000 vues par heure pour sa version française. Encore plus fort, 11 095 extraits de déclarations d’intérêts de nos parlementaires ont été saisis l’été 2014 en moins d’une semaine par près de 8 000 personnes via une interface fournie par Regards citoyens ! Bien entendu, les productions de la foule ne sont pas toujours parfaites, que ce soit par malveillance ou par incompétence, ces applications comprennent donc des stratégies de vérification, toujours par la foule, pour limiter les abus et obtenir la meilleure qualité possible. Le principe fondamental est celui de la Do-ocratie, du « pouvoir du faire » : si vous n’êtes pas content du résultat, contribuez et changez-le !

Le crowdsourcing, une histoire ancienne

S’il a pris un essor inédit avec l’avènement du Web 2.0, qui permet aux internautes d’interagir avec les pages qu’ils visitent, le crowdsourcing n’est pas une invention récente. Depuis longtemps, on fait appel à chacun, notamment pour aider la recherche. Mes collègues du Muséum national d’histoire naturelle ont ainsi trouvé des « instructions pour les voyageurs et les employés des colonies », pour qu’ils fassent « connaître les résultats de leurs propres expériences, afin d’en profiter et d’en faire profiter le monde savant », dont la première édition date de 1824 ! C’est ce qu’on appelle « la science participative ou citoyenne », qui peut prendre des formes variées. Vous pouvez aller observer les petits animaux présents autour de vous et transmettre vos données aux scientifiques sur Vigie-Nature, ou vous prendre pour un zombi et annoter des corpus pour le traitement automatique des langues sur Zombilingo.

C’est pour nous, chercheurs, l’occasion de faire tomber certaines barrières entre la recherche et le public et de remettre en cause la sacro-sainte expertise : le participant devient peu à peu expert, non pas du domaine de recherche, mais de la tâche qui lui est confiée. C’est surtout un moyen de récolter des données que nous ne pourrions pas obtenir autrement, faute de moyens.
 

Le Turc mécanique est un automate supposé jouer aux échecs mais en réalité un humain s'y cachait. Le nom de la plateforme Amazon Mechanical Turk s'inspire de ce célèbre canular du XVIIIe s.
Le Turc mécanique est un automate supposé jouer aux échecs mais en réalité un humain s'y cachait. Le nom de la plateforme Amazon Mechanical Turk s'inspire de ce célèbre canular du XVIIIe s.

Un concept détourné par Amazon

Une autre forme de crowdsourcing est apparue récemment, le microworking crowdsourcing, ou « travail myriadisé parcellisé » : les participants réalisent de petites tâches pour une rémunération, encore plus petite. La première et la plus grande des plateformes de travail parcellisé appartient, ce n’est pas une surprise, à Amazon, un employeur peu connu pour son respect des travailleurs ou des règles fiscales. Le géant du Web a eu l’idée de créer une plateforme de travail parcellisé pour ses propres besoins de production de données et l’a ouverte à d’autres demandeurs en 2005, moyennant 10 % des transactions réalisées. Amazon Mechanical Turk (AMT) était né. Dans cet univers hors frontières, des demandeurs (requesters) proposent des microtâches (HIT ou Human Intelligence Tasks : « tâches pour l’intelligence humaine » !), à des travailleurs (turkers), en échange d’une microrémunération. C’est l’intelligence artificielle.

Amazon
Mechanical Turk
est, pour la grande
majorité des
turkers, un moyen
de subsistance,
et non un hobby.

Le mythe prend forme : AMT permettrait de faire réaliser des tâches rapidement et pour très peu cher, avec une bonne qualité de résultat, par des gens pour lesquels il s’agit d’un hobby. La réalité, décrite par plusieurs travaux de recherche, est plus proche de la mine de charbon que de la mine d’or. Si la plateforme permet de produire des données relativement rapidement, et pour très peu cher, la qualité n’est satisfaisante que pour des tâches très simples (retranscription de parole…) et se dégrade largement pour les tâches plus complexes, comme le résumé.

Il faut ajouter à cela le fait qu’il n’existe aucun moyen sûr de vérifier que les turkers maîtrisent bien la langue qu’ils disent maîtriser. Surtout, AMT est, pour la grande majorité des turkers, un moyen de subsistance, et non un hobby. Avec des tâches payées entre 0 et 0,25 dollar (en moyenne environ 0,05 dollar), le salaire horaire moyen est de moins de 2 dollars.
 

Amazon mechanical turk
Copie d'écran de l'interface Amazon Mechanical Turk. Les turkers y réalisent des microtâches en échange d’une microrémunération.
Amazon mechanical turk
Copie d'écran de l'interface Amazon Mechanical Turk. Les turkers y réalisent des microtâches en échange d’une microrémunération.

Un générateur de misère sociale

Au-delà de l’indécence des salaires, il n’existe aucun lien entre le requester et les turkers. Ces derniers n’ont aucune couverture sociale, aucun droit, pas même l’assurance d’être payés : les requesters ont le droit de ne pas payer un turker s’ils estiment qu’il a mal fait son travail, sans avoir à le justifier : le rêve du Medef enfin réalisé ! AMT ne fournit, à l’inverse, aucun moyen pour les turkers d’évaluer un requester ou de le bannir. Leur relation est donc totalement déséquilibrée. Les turkers doivent à tout prix préserver leur réputation, ce qui induit un travail caché important : pour se former, ils font des tâches sans être « déclarés », donc sans être payés. Ils sont à l’affût des « bons » HIT (un peu rémunérateurs et intéressants), parfois en se relayant en famille, et ont les mêmes problèmes que tous les employés à temps partiel subi : il leur est très difficile de trouver le temps de chercher un autre travail, bien que la plupart en souhaitent un. Enfin, les turkers sont considérés comme des travailleurs indépendants par Amazon, les États voient donc leur échapper les cotisations sociales qui leur sont dues. Une goutte d’eau dans ce qui leur échappe.

Les turkers n’ont
aucune couverture
sociale, aucun
droit, pas même
l’assurance
d’être payés.

Jusqu’ici, la France était un peu préservée d’AMT, mais voici qu’une entreprise française (que je ne citerai pas pour ne pas lui faire de publicité) vient de naître qui en reprend les grandes lignes, jouant avec les limites de ce qu’il reste du droit du travail français. D’une idée généreuse au service du plus grand nombre, ils n’ont retenu que les profits à tirer.

La convivialité, l’échange, le partage ne sont pas des valeurs désuètes. Elles sont au cœur du crowdsourcing, du logiciel libre, des fablabs (ateliers ouverts de fabrication où se sont notamment développées les imprimantes en 3D). Elles sont porteuses d’innovations et de liberté. Les sites Web d’AMT, comme de son équivalent français, sont attractifs, mais ils cachent des générateurs de misère sociale. Faut-il le rappeler : l’exploitation des plus faibles est tout sauf une innovation !

Notes
  • 1. Chiffre de décembre 2014 (source : Wikipédia).

Commentaires

6 commentaires

Chers lecteurs, Chers internautes, Suite à cet article, j'ai demandé un droit de réponse. A aujourd'hui personne ne m'a réponde, je partage donc avec vous mon ressenti à la lecture de cet article. Nous avons lu avec attention l’article « Miracles ou mirages du crowdsourcing » paru sur le site https://lejournal.cnrs.fr et relayé par Libération. Dans un premier temps je tiens à préciser que notre équipe partage la plupart des idées soutenues par Mme Fort dans la première partie de l’article (concernant Amazon Mechanical Turk). Néanmoins, croire que le « travail myriadisé parcellisé » sera bénévole et citoyen ou ne devra pas être, est au mieux une utopie au pire d’une naïveté aberrante. Prenons le cas de la description de vidéos (utilisé pour classer des vidéos ou pour effectuer de la publicité contextuelle). Il s’agit de regarder des vidéos de 2 minutes et de donner 10 mots-clés. 1/ Cette tâche n’est pas (encore) automatisable i.e il est nécessaire qu’un humain le fasse. 2/ Le nombre de vidéos à décrire est extrêmement volatile (de 1 à 100) et très peu prévisible (dépend des très nombreux paramètres : l’actualité, etc..). 3/ Ce classement doit être traité en quasi temps réel (revenus générés par la publicité ciblé pour augmenter les taux de conversion, crédibilité et expérience utilisateur, etc…). Dans cet exemple, il n’est donc pas envisageable d’avoir recours à des ressources « internes » dédiées à cette activité (impossibilité de calibrer une équipe, urgence du besoin, etc..). Le recours à une foule de contributeurs, mobilisable à la demande, est la seule option pertinente. Croire qu’une communauté va contribuer bénévolement pour qu’une société tire des profits est évidemment inenvisageable. Il faut donc valoriser ce temps. Le crowdsourcing s’applique donc à l’entreprise « traditionnelle », il est donc (comme le souligne Mme Fort à juste titre) complètement déconnecté de sa candeur originelle, mais néanmoins utile. Il présente un intérêt important bien qu’il n’ait pas les vertus (« convivialité, échange et partage ») citées dans l’article. Si l’utilité du crowdsourcing pour des applications « non citoyennes » est démontrée, nous convenons qu’il est nécessaire d’encadrer sa pratique. C’est pour cela que nous avons (contrairement à Amazon) mis en place plusieurs leviers pour s’assurer d’une certaine éthique dont l’auteure pense qu’elle nous fait défaut. a/ Foulefactory n’est ouvert qu’aux contributeurs français. b/ Le plafond annuel de rémunération est de 3 000€ - nous ne souhaitons pas que foulefactory constitue une source primaire de revenus pour nos contributeurs. c/ Le taux horaire moyen est compris entre 10 et 15€, c’est le prix minimum que nous demandons à nos clients de respecter. d/ Si un projet rémunère moins, nos fouleurs (contributeurs de foulefactory) nous remontent l’information et nous adressons un avertissement au client. e/ Si une tâche réalisée par un fouleur est refusée (et donc non-rémunérée), ce dernier peut faire une « réclamation » en 1 clic. f/ Si plusieurs fouleurs adressent une réclamation à un client, nous adressons un avertissement à ce dernier. g/ Après 3 avertissements, un client est banni de la plateforme foulefactory. Pour toutes ces raisons, foulefactory n’est pas un « générateur de misère sociale », mais au contraire une opportunité de s’assurer un complément de revenus tout en participant à la résolution de problématiques client. Vous trouverez plus de détails sur notre point de vue dans une interview que nous avions faite pour « Regard sur le numérique » à l’adresse suivante : http://www.rslnmag.fr/post/2014/09/04/FouleFactory-ces-entrepreneurs-veulent-franciser-le-crowdsourcing-et-vous-faire-gagner-de-l-argent.aspx J’espère que vous comprenez que c’est très précisément ce type d’article –à charge, sans contrepoint aucun et sans recherches sérieuses sur les arguments avancés, qui participe au malaise, aux réticences et parfois au départ de certains entrepreneurs français. Bien cordialement, Daniel Co-fondateur www.foulefactory.com

" Si un projet rémunère moins, nos fouleurs (contributeurs de foulefactory) nous remontent l’information et nous adressons un avertissement au client. " Ah mais cette blague-là, Coluche l'a déjà faite il y a 40 ans: et au bout de trois avertissements, le client a-t-il donc, comme Bob, un blâme? Du temps de Coluche, Bob risquait d'être dégradé, ce dont il se foutait, puisqu'il n'était pas gradé. De nos jours, le client s'en fout aussi, puisqu'il lui suffit de créer un nouveau compte...

Bonjour "fouleur", Je ne décide pas de la politique éditoriale du Journal, mais je vois avec plaisir que vous avez trouvé le moyen de vous exprimer, ce qui est le principal, même si de manière pseudo-anonyme. Comme tout chercheur, mes articles sont évalués par mes pairs. Voici la référence principale (les références que j'ai données n'ont pas été jointes à l'article), il y en a d'autres, mais il s'agit là de la plus importante revue du domaine. Karën Fort, Gilles Adda, Kevin Bretonnel Cohen. Amazon Mechanical Turk: Gold Mine or Coal Mine? Last Words editorial. Computational Linguistics 37:2, 2011. Ce billet ne porte pas du tout sur une plate-forme autre qu'AMT et je ne parle du cas français (votre entreprise (j'imagine ?) ou une autre, peu importe) que de manière anecdotique, pour signaler que la question ne tient en rien aux frontières. Cela étant, puisque vous le proposez, regardons de plus près... a/ Foulefactory n’est ouvert qu’aux contributeurs français. Il n'y a aucun moyen de vérifier ça en réalité (un VPN permet de contourner cela facilement). [AMT est aussi limité aux US maintenant...] b/ Le plafond annuel de rémunération est de 3 000€ - nous ne souhaitons pas que foulefactory constitue une source primaire de revenus pour nos contributeurs. Idem : n'importe qui peut se faire passer pour un autre, et donc créer de multiples comptes à moins de demander une pièce d'identité (je ne sais pas si c'est le cas - est-ce le cas ?). g/ Après 3 avertissements, un client est banni de la plateforme foulefactory. Ceci est un point intéressant (que vous précisez dans votre commentaire). Qui décide des avertissements ? c/ Le taux horaire moyen est compris entre 10 et 15€, c’est le prix minimum que nous demandons à nos clients de respecter. d/ Si un projet rémunère moins, nos fouleurs (contributeurs de foulefactory) nous remontent l’information et nous adressons un avertissement au client. Comment est-il possible de s'assurer d'un taux horaire puisqu'il s'agit, de fait, de travail à la tâche ? Si les "fouleurs" remarquent qu'ils travaillent plus longtemps, ne va-t-on pas leur rétorquer qu'ils sont trop lents ? Là encore, il se peut qu'il y ait une astuce technique qui permette cela, mais je ne vois pas comment de manière fiable. Cela m'intéresse si vous avez une solution (si vous ne voulez pas la publier, mon mail est public). e/ Si une tâche réalisée par un fouleur est refusée (et donc non-rémunérée), ce dernier peut faire une « réclamation » en 1 clic. f/ Si plusieurs fouleurs adressent une réclamation à un client, nous adressons un avertissement à ce dernier. g/ Après 3 avertissements, un client est banni de la plateforme foulefactory. Ces points représentent une "protection" douteuse, étant donné que les "fouleurs" (comme il est dit) n'ont que leur réputation pour travailler. Je réfère en cela à l'article de mes collègues : Gupta, N.; Martin, D.; Hanrahan, B. V. & O'Neill, J. Turk-Life in India Proceedings of the 18th International Conference on Supporting Group Work, ACM, 2014, 1-11 qui montre tout le travail caché réalisé par les Turkers pour justement ne pas perdre leur (bonne) réputation. Même si on leur en donne la possibilité, oseront-ils se plaindre alors qu'ils risquent d'y perdre des revenus ? Sans syndicat ni protection quelconque (pas d'équivalent de la protection des délégués du personnel, par exemple), il y a peu de chance que cela arrive (hors cas particulier). Pour finir : qui participe au malaise, aux réticences et parfois au départ de certains entrepreneurs français Le chantage à l'emploi est une ficelle, qui, là encore, n'a rien de novatrice... (surtout pour quelqu'un qui se dit "éthique").
Pour laisser votre avis sur cet article
Connectez-vous, rejoignez la communauté
du journal CNRS