En 2017, Facebook a légèrement modifié sa déclaration de mission. Un engagement à « rendre le monde plus ouvert et plus connecté » a été promis, et à sa place est apparu l’intention de « donner aux gens les moyens de construire une communauté et de rapprocher le monde ».
Vous pouvez voir cela comme un aveu que « l’ouverture » a échoué. « Ouvert » signifie ouvert aux discours de haine, à la maltraitance des enfants, à la violence, au sexe et au genre d'actes illégaux avec lesquels Facebook n'aurait rien à voir. Et pourtant, la société doit désormais réparer ces dégâts toutes les heures, tous les jours.
Ou plutôt, il emploie des étrangers pour faire son sale boulot. Dans The Cleaners, un documentaire de Hans Block et Moritz Riesewieck, des hommes d'affaires philippins discutent franchement du flux constant de discours sexuels, de violence et de haine qu'ils doivent filtrer chaque jour.
L'ancien modérateur de Facebook Chris Gray et le cinéaste Moritz Riesewieck au Mozfest 2019
(Crédit image : Connor Ballard-Bateman)
Chaque décision doit être prise dans un délai de huit à dix secondes, et « ne réfléchissez pas trop » est une citation directe du matériel de formation tel quel. "Ne vous inquiétez pas trop de savoir si votre décision est bonne ou mauvaise, sinon vous y réfléchirez trop et ne serez pas en mesure de prendre une décision", a déclaré Riesewieck à TechRadar au Mozfest de Mozilla, d'où lui et son collègue réalisateur sont originaires. Faites partie d'un groupe de discussion sur la modération Internet.
Si jamais une entreprise devait insister sur l’idée que tout problème peut être résolu avec suffisamment d’argent, c’est bien Facebook. Et pourtant, jusqu’à présent, le problème ne fait que s’aggraver. En 2009, Facebook ne comptait que 12 (oui, douze) modérateurs de contenu veillant au bien-être de 120 millions d'utilisateurs. Il y a désormais plus de deux milliards de personnes sur la plateforme et environ 15,000 2019 modérateurs. Bien que cela signifie que le ratio modérateur/utilisateur est passé de modéré à faible, il convient de noter que Facebook en XNUMX est très différent de ce qu'il était il y a dix ans, lorsque le bouton « J » était utilisé. Comme "c'était la dernière innovation et Facebook Live, il y avait encore de nombreuses années.
"Le pire du pire des déchets Internet"
"On estime qu'environ 100,000 4 professionnels travaillent dans ce domaine", explique Clara Tsao, une collègue de Mozilla et experte dans la lutte contre la désinformation en ligne. "Ils s'occupent du pire des pires déchets Internet", ajoute-t-il, soulignant que le XNUMX janvier, ils sont littéralement appelés "concierges".
Cependant, contrairement aux concierges du monde réel, les nettoyeurs Internet ne sont pas toujours équipés du matériel adéquat pour la grande tâche à accomplir. Le contingent philippin de Facebook a parfois été confronté à des échanges dans des langues qu'ils ne parlaient pas, utilisant Google Translate pour en comprendre le sens. Cela prend inévitablement un ton lourd, avant même d’aborder les inévitables différences culturelles entre pays séparés par un écart de huit heures entre les fuseaux horaires.
Les modérateurs de Facebook doivent surveiller de grandes quantités de contenu provenant du monde entier et peuvent avoir besoin d'évaluer les conversations dans une langue qu'ils ne parlent pas.
(Crédit d'image: Shutterstock)
Les modérateurs de Facebook ne se trouvent pas seulement aux Philippines. Il existe des bureaux partout dans le monde et c'est à Dublin que Chris Gray s'est retrouvé après avoir enseigné en Asie. Il est désormais le principal plaignant des modérateurs dans une procédure devant la Haute Cour contre Facebook. Pendant une période de neuf mois dans l'entreprise (en Irlande, la plupart des travailleurs ont un contrat de 11 mois, mais la plupart partent plus tôt), Gray a essayé 500 à 600 contenus par nuit, généralement de 18 heures à 2 heures du matin. . Un an seulement après son départ, il reçoit officiellement un diagnostic de trouble de stress post-traumatique.
"Il m'a fallu un an pour réaliser que ce travail m'avait assommé", a-t-il déclaré lors de la discussion de groupe. Cette réaction tardive, nous dit Riesewieck, n’est pas tout à fait inhabituelle. "Dans certains cas, ils nous ont dit que c'était surtout leurs amis qui leur disaient qu'ils avaient changé", raconte-t-il.
Il m'a fallu un an pour réaliser que ce boulot m'avait frappé au cul
Chris GrisQuoi qu'il en soit, de nombreux anciens collègues de Gray sont ravis de constater qu'il a violé la NDA et fait traîner le procès, même s'ils ne sont pas prêts à le dire publiquement pour l'instant. maintenant. "Les gens sortent du bois et disent : 'Oh, Dieu merci, quelqu'un a pris la parole et a dit ça'", a-t-il déclaré plus tard à LaComparacion.
Pour être clair, malgré le fait qu'il ait été personnellement touché par l'œuvre, Gray estime qu'il est trompeur de supposer qu'il s'agit d'une activité sans fin de gore, d'exploitation sexuelle et d'exploitation. « Pour être honnête, la plupart du travail est fastidieux », dit-il. "Ce sont simplement des gens qui se dénoncent parce qu'ils se disputent et veulent utiliser un processus pour communiquer avec l'autre personne."
Fastidieux, mais haute pression. Au bureau irlandais, Gray avait 30 secondes pour rendre un verdict sur le contenu, qui constituait une insulte à une ligne ou à une vidéo de 30 minutes. . "Si votre auditeur a cliqué (sur une vidéo) deux secondes après vous et a vu quelque chose de différent, a entendu une insulte différente ou a vu quelque chose de plus haut dans la hiérarchie des priorités, alors faites-y face, vous avez pris une mauvaise décision." Les mauvaises décisions affectent le niveau de qualité, et le niveau de qualité affecte votre travail. Malgré cela, l'objectif du bureau était une précision presque impossible de 98 %.
super Heroes
Il est difficile de trouver des personnes pour parler de leur expérience de modération, comme Block et Riesewieck l'ont découvert en recherchant des sujets. Les NDA sont universelles et l'œuvre est classée sous un nom de code : au moment du tournage il s'agissait du "Honey Badger Project".
Malgré cela, Facebook, ou les sous-traitants qui font preuve de retenue, embauchent ouvertement, même s'ils sont souvent extrêmement trompeurs sur la réalité du travail. "Ils utilisent des super-héros en costumes, 'allez, soyez des super-héros, nettoyez Internet'", a déclaré Gabi Ivens, un autre membre de Mozilla au panel. Une publicité en Allemagne destinée aux modérateurs de contenu posait des questions telles que « aimez-vous les médias sociaux et souhaitez-vous rester au courant de ce qui se passe dans le monde ? »
Malgré l'ennui général de la vie quotidienne, les documentaires de Block et Riesewieck surprennent : de nombreux sujets interviewés sont très fiers de ce rôle, le considérant moins comme un devoir qu'un travail.
Les modérateurs philippins de Facebook ont déclaré aux directeurs Hans Block et Moritz Riesewieck qu'ils estimaient qu'il était de leur devoir éthique de nettoyer Internet.
(Crédit d'image: Shutterstock)
"Ils nous ont dit qu'ils se sentaient comme des super-héros d'Internet, comme des policiers surveillant Internet", a déclaré Block. Les administrateurs attribuent cela en partie aux 90 pour cent de la population chrétienne des Philippines. "Ils nous ont dit qu'ils sentaient que Jésus libérait le monde", ajoute Block. Cela pourrait à son tour rendre les gens réticents à partir, considérant qu'il s'agit d'un devoir éthique et pas seulement d'un travail.
Mais il y a des limites à cela, d'autant plus que les modérateurs ne prennent pas eux-mêmes la décision finale. Ici, le texte sacré est l'ensemble labyrinthique de règles et d'instructions de Facebook : des milliers de mots accumulés au fil de nombreuses années. Dans certains cas, les gens doivent protéger les propos qui, selon eux, devraient être interdits, ou interdire les mots qui, selon eux, devraient être protégés, ce qui, selon Ivens, constitue un problème évident pour le bien-être. "Maintenir du contenu en ligne que vous pensez ne devrait pas être extrêmement dangereux avant même de penser à ce que les gens voient."
L'ironie de considérer les règles comme sacrées est que les règles de Facebook n'ont jamais été un texte figé infaillible : elles sont le résultat d'années de changements itératifs, répondant progressivement aux crises à mesure qu'elles surviennent, et essayant de rendre le subjectif plus objectif.
Garder en ligne du contenu qui, selon vous, ne devrait pas l'être est extrêmement nuisible avant même de penser à ce que les gens voient.
Gabi IvensVous souvenez-vous de la campagne « Free Nipple » ? En bref, les directives de Facebook stipulaient à l'origine que toute photographie avec des seins devait être interdite en tant que pornographie, ce qui signifiait qu'Internet était privé de mères fières d'allaiter sur la plateforme. Facebook a progressivement modifié ses règles et accepté l'importance du contexte. De même, nous devons accepter que, même s’il n’y a rien d’illégal à manger des capsules de marée ou à propager des théories complotistes anti-vaccination, si quelque chose devient une épidémie de santé publique, il est donc de votre devoir d’agir.
"Certaines plateformes affirment que certains contenus ne sont peut-être pas illégaux, mais qu'ils sont inacceptables", explique Tsao. Mais "d'autres pensent qu'Internet devrait avoir plus de liberté pour dire ce qu'il veut". Pour Facebook, cette dichotomie produit des niveaux de granularité absurdes : « Maintenant, nous avons quelques indices sur la menace de pousser quelqu'un du toit », dit Gray. " Pousser n'est pas un acte violent. Être au plafond, c'est important, mais à quelle hauteur ? " Dommage " ne réfléchissez pas trop ".
Ce type d’inertie dans les directives de modération permet aux trolls Internet de prospérer. Il n'est pas nécessaire de chercher bien pour trouver des exemples de rumeurs sur Internet qui vont droit au but sans aller trop loin. Au lieu de cela, ils laissent le soin à leurs adeptes, et parfois, de manière catastrophique, cela se répercute sur le monde réel.
La morale ne traverse pas les frontières
Le statut mondial de Facebook rend le problème encore plus complexe, car les valeurs morales ne sont pas partagées au-delà des frontières. "C'est compliqué parce que cela dépasse la politique locale des pays et confine à l'ouest sauvage", explique Tsao.
Gray donne un exemple de sexualité des gens : la fierté gay est très présente dans la plupart des pays occidentaux, mais moins partout ailleurs dans le monde. Vous pouvez identifier un ami comme gay dans une publication et il se sentira suffisamment à l'aise avec sa sexualité pour la partager. Donc dans ce cas, il est raisonnable de ne pas arrêter, même si une fille homophobe s'en plaint.
La moralité n'est pas un concept global. ce qui rend la modération internationale du contenu très difficile
(Crédit d'image: Shutterstock)
"Mais si vous êtes au Nigeria, vous pourriez être battu ou tué parce que quelqu'un voit ce message", dit-il. "Cette erreur pourrait coûter la vie à quelqu'un. Je veux dire, c'est la réalité : parfois, on regarde des situations de vie ou de mort."
Les actes objectifs de violence devraient être plus spécifiques, mais ils ne le sont pas. La vidéo montrant un enfant abattu peut sembler être un candidat évident à la répression, mais que se passe-t-il si le journalisme citoyen découvre des crimes de guerre non signalés ? Si Facebook s'en débarrasse, ne sera-t-il pas simplement l'aile de propagande involontaire des pires despotes du monde ?
C'est la réalité : parfois nous regardons des situations de vie ou de mort.
Chris GrisIl est complexe, facile à confondre et n’aide pas les travailleurs jugés sur la base de leurs réponses objectives à des positions subjectives. "Les gens protestent et se présentent à mon bureau", a déclaré Gray lors du panel. "Et je dois appeler : ce bébé est-il mort ? Ensuite, je dois appuyer sur le bon bouton. Si j'appuie sur le mauvais bouton parce que mon auditeur pense que le bébé n'est pas mort, alors je me trompe et j'atteins le niveau de qualité et Je me fais virer.
"Alors je reste éveillé la nuit dans mon lit, je regarde à nouveau cette photo et j'essaie d'argumenter pour garder mon emploi."
Peut-il être réparé ?
Il devrait être assez évident à ce stade que ce n’est pas entièrement la faute de Facebook, même si l’entreprise n’a pas été d’une grande aide tout au long du processus. Mais que peut-il faire ? Il est bien évident que le problème ne fonctionnera pas et que la modération IA n’est pas prête pour le spectacle. (Et il y a des questions légitimes à ce sujet.) Pour commencer, vous avez besoin d’humains pour entraîner l’IA, ce qui fait reculer le traumatisme d’un pas. 39, il sera très difficile de retirer complètement les humains de la boucle", déclare Tsao).
"Facebook n'a pas de stratégie claire pour cela", déclare Gray. "Tout est réactif. Quelque chose se produit, alors ils établissent une nouvelle règle et embauchent plus de personnes. Il pense que le manque de leadership est la racine du problème. "Vous devez savoir où vous allez et quelle est votre stratégie, et "Ils ne le font pas. Tout découle de cela."
Roderick Ordens, professeur de psychologie, estime qu'il est extrêmement important que personne ne fasse ce type de travail seul. La responsabilité n’incombe pas entièrement à une seule personne.
(Crédit d'image: Shutterstock)
Selon Tsao, cela s’explique en partie par le fait que les décideurs n’étaient pas obligés de le faire eux-mêmes. "J'ai interviewé des personnes responsables de la confiance et de la sécurité dans les entreprises, et l'une d'elles a toujours dit : "Si vous voulez jouer un rôle de leader dans ce domaine professionnel, vous devez comprendre comment cela fonctionne". ", dit-elle. "Vous devez comprendre le traumatisme, vous devez comprendre quel type de système de soutien est nécessaire."
Roderick Ordens, professeur de psychologie à l'Université de Lincoln, a son propre point de vue lorsqu'il est contacté. "Il y a un devoir de diligence. Cela ne garantit en aucun cas qu'il n'y aura pas de victimes parmi les personnes qui verront ce type de matériel, mais il faut voir que l'entreprise a fait tout ce qui était raisonnable pour réduire les risques pour le personnel.
Personne ne devrait faire ce type de travail seul. Et si cela a été fait par un groupe, alors ce qui compte vraiment, c'est la forte cohésion du groupe.
Commandes de Roderick"En primer lugar, nadie debería hacer este tipo de trabajo solo. Y si fue hecho por un grupo, entonces lo que realmente importa es la fuerte cohesión del grupo. Es muy importante organizar esto para que la responsabilidad no se perciba como la responsabilidad del individu.
Selon Ordens, toute entreprise qui recrute pour "un travail aussi dangereux" doit recevoir une formation pour permettre aux salariés de reconnaître les signes avant-coureurs: "un sentiment général de malaise, de ne pas pouvoir se détendre après le travail, peut-être trop inquiet de certaines images". soyez particulièrement attentif à savoir si le sommeil est affecté : avec une accumulation de mauvais sommeil, tout le reste est bien pire."
"Qu'est-ce qui te trouble l'esprit ?"
Que Facebook soit intéressé par de telles connaissances est un autre problème. "Nous ne prétendons pas que toute la faute incombe aux entreprises, ce n'est pas vrai", dit Block. "La faute, du moins à notre avis, c'est qu'ils ne font pas preuve de transparence, qu'ils n'ouvrent pas le débat et qu'ils n'acceptent pas de ne pas pouvoir décider seuls de tout cela." Block et Riesewieck savent que certains employés de Facebook ont vu leur film lors d'une projection à San Francisco, et il a même été question de le projeter dans les bureaux de Facebook, de sorte que les courriels de suivi restent mystérieusement sans réponse.
Il est vrai que le traitement NDA n’aide pas, et le grand nombre d’anciens employés et ex-employés qui leur sont associés signifie que l’effet diminuera inévitablement car il y a une certaine sécurité dans le nombre. Gray n'avait pas de nouvelles sur Facebook pour annoncer la sienne, du moins pas directement.
"J'ai reçu un appel d'un ancien collègue... il y a quelques semaines. Ils m'ont dit : 'Hé, ils m'ont dit que Facebook te poursuivait en justice.' Non. À qui avez-vous dit qu'ils m'avaient poursuivi en justice ? 'Mon chef d'équipe.' Votre équipe. essaie de vous manipuler pour que vous restiez silencieux. »
Je ne sais pas si quelque chose a encore été fait. Tu sais, ça se passe dans le vide, semble-t-il
Chris GrisEn d’autres termes, l’équilibre entre la carotte et le bâton est aussi comique que le rapport modérateur/utilisateur de Facebook. Puisque les gens veulent améliorer Internet, Facebook pourrait peut-être exploiter ce sentiment ?
Même Gray se souvient d'avoir été positif, car il se souvient d'un SMS qu'il a envoyé au début. " J'ai dit : " J'ai personnellement transmis 13 cas de maltraitance d'enfants à l'équipe d'intervention rapide et je me sens vraiment bien. " Mais cela n'a pas duré. "Je n'ai jamais eu de nouvelles de ces gens. Je ne sais pas si quelque chose a encore été fait. Vous savez, on dirait que tout se passe dans le vide.
La reconnaissance pourrait-elle faire une différence pour remonter le moral ? Peut-être, mais seulement s’ils ont réellement un impact, Gray intervient suffisamment. « En Afghanistan, un enfant est attaché nu sur le lit et battu. La situation est encore pire car il s'agit d'un abus sexuel sur un enfant, mais que peut-on faire ?
"Je ne fais que suivre la politique, la personne au sommet la supprime simplement."