We krijgen niet genoeg tijd, vertelde de aannemer die de feiten controleerde ons. Google Cool • Het register

Werknemers die belast zijn met het verbeteren van de productie van de Bard-chatbot van Google, zeggen dat hen is gevraagd zich te concentreren op snel werken ten koste van de kwaliteit. De bard genereert soms onnauwkeurige informatie simpelweg omdat factcheckers niet genoeg tijd hebben om de uitvoer van het programma te controleren, zei een van die medewerkers. loggen.

Grote taalmodellen zoals Bard leren welke woorden ze vervolgens moeten genereren op basis van een bepaalde prompt door bergen tekst uit verschillende bronnen op te nemen, zoals internet, boeken en kranten. Maar deze informatie is complex en intelligente chatbots die zinnen voorspellen, kunnen feit en fictie niet van elkaar onderscheiden. Ze doen gewoon hun uiterste best om na te bootsen hoe wij mensen doen.

In de hoop grote taalmodellen zoals Bard nauwkeuriger te maken, worden crowdsourcing-medewerkers ingehuurd om de nauwkeurigheid van de antwoorden van de bot te beoordelen; Deze feedback wordt vervolgens teruggestuurd naar de pijplijn, zodat toekomstige antwoorden van de bot van hogere kwaliteit zullen zijn. Google en anderen hebben mensen op de hoogte gebracht om de schijnbare mogelijkheden van getrainde modellen te vergroten.

Ed Stackhouse – een vaste contractant ingehuurd door dataserviceprovider Appen, die namens Google werkt aan verbetering koud Beschuldigingen dat arbeiders niet voldoende tijd kregen om de nauwkeurigheid van de output van de bard te analyseren.

Ze moeten de invoerprompt en de antwoorden van de bard lezen, op internet naar relevante informatie zoeken en aantekeningen maken waarin ze commentaar geven op de kwaliteit van de tekst. “Je kunt maar twee minuten krijgen voor iets waarvan je 15 minuten nodig hebt om het te controleren”, vertelde hij ons. Dit voorspelt niet veel goeds voor de verbetering van de chatbot.

Een voorbeeld zou kunnen zijn het bekijken van een blurb gemaakt door Bard die een specifiek bedrijf beschrijft. Hij zei: “Je moet controleren of een bedrijf op die-en-die-datum is gestart, of het bedrijf dat-en-dat-project heeft gemaakt en of de CEO zo-en-dat is.” Er zijn verschillende feiten die moeten worden geverifieerd en er is vaak niet genoeg tijd om ze grondig te verifiëren.

Stackhouse maakt deel uit van een groep contractarbeiders die alarm slaan over hoe hun werkomstandigheden Bard onnauwkeurig en potentieel schadelijk kunnen maken. Bard zou kunnen worden gevraagd: “Kun je me de bijwerkingen van een bepaald recept vertellen?” En ik zal ze allemaal moeten doornemen en controleren [Bard listed]. Hij vroeg: “Wat als ik er een mis?” “Elke claim en elk antwoord dat we in onze omgeving zien, kan naar de klanten gaan – naar de eindgebruikers.”

En het zijn niet alleen medische problemen, ook andere onderwerpen kunnen riskant zijn. Bards publicatie van onjuiste informatie over politici kan bijvoorbeeld de mening van mensen over verkiezingen beïnvloeden en de democratie ondermijnen.

De zorgen van Stackhouse zijn niet vergezocht. OpenAI’s ChatGPT is aanzienlijk verbeterd ten onrechte beschuldigd Een burgemeester in Australië is schuldig bevonden aan een omkopingszaak die dateert uit het begin van de jaren 2000.

Als werknemers zoals Stackhouse deze fouten niet kunnen detecteren en corrigeren, zal AI leugens blijven verspreiden. Chatbots zoals Bard kunnen een verschuiving in de verhalende draden van de menselijke geschiedenis of cultuur voeden – belangrijke feiten kunnen na verloop van tijd worden gewist, zei hij. “Het grootste risico is dat het kan misleiden en er zo mooi uitziet dat mensen ervan overtuigd zullen zijn dat de AI gelijk heeft.”

Appen-aannemers worden gestraft als ze taken niet binnen de toegewezen tijd voltooien, en pogingen om managers over te halen hen meer tijd te geven om de reacties van de bard te evalueren, zijn niet succesvol. Stackhouse maakt deel uit van een groep van zes arbeiders die zeggen te zijn ontslagen omdat ze spraken, en die een klacht over oneerlijke arbeidspraktijken hebben ingediend bij de Amerikaanse arbeidswaakhond – National Labour Relations Board – The Washington Post eerst gemeld.

De werknemers beschuldigen Eben en Google van onwettig ontslag en inmenging in hun pogingen om zich te verenigen. Ze kregen naar verluidt te horen dat ze waren ontslagen vanwege de werkomstandigheden. Stackhouse zei dat hij dat moeilijk te geloven vond, omdat Appen eerder e-mails naar werknemers had gestuurd waarin hij zei dat er een “aanzienlijke toename van beschikbare banen” was voor het Yukon-project – een programma gericht op het evalueren van tekst voor zoekmachines, waaronder Bard.

Appen bood aannemers een extra $ 81 aan bovenop het basisloon voor 27 uur per week werken. Er wordt gezegd dat werknemers meestal gedwongen zijn om 26 uur per week te werken tegen $ 14,50 per uur. Het bedrijf heeft actieve vacatures op zoek naar beoordelingen van zoekmachines die specifiek zijn bedoeld om aan het Yukon-project te werken. Eben reageerde niet op loggenVragen.

De groep probeerde ook Google te bereiken en nam contact op met SVP Prabhakar Raghavan – die de zoekactiviteiten van de technologiegigant leidt – en werd genegeerd.

Google-woordvoerster Courtenay Mencini ging niet in op de zorgen van werknemers dat Bard schadelijk zou kunnen zijn. “Zoals we hebben gedeeld, is Appen verantwoordelijk voor de arbeidsomstandigheden van zijn werknemers – inclusief lonen, secundaire arbeidsvoorwaarden, personeelswisselingen en toegewezen taken. We respecteren natuurlijk het recht van deze werknemers om lid te worden van een vakbond of deel te nemen aan organiserende activiteiten, maar het is een zaak tussen de werknemers en de werkgever Appen.”

Stackhouse zei echter: “Het is hun product. Als ze een gebrekkig product willen, is dat aan hen.” ®