Zelfs Google-insiders zijn sceptisch over het nut van de Bard AI Chatbot

(Bloomberg) — In de loop van maanden heeft Google. En Discord Inc. Een chat op uitnodiging voor intensieve gebruikers van Bard, de AI-aangedreven chatbot van Google. Productmanagers, ontwerpers en ingenieurs van Google gebruiken het forum om openlijk de effectiviteit en het nut van de AI-tool te bespreken, waarbij sommigen zich afvragen of de enorme middelen die aan ontwikkeling worden besteed de moeite waard zijn.

“Mijn vuistregel is om de LLM-uitvoer niet te vertrouwen, tenzij ik deze uitgebreid kan verifiëren”, schreef Dominique Rabigue, een senior productmanager bij Bard, in juli in een Discord-chat, verwijzend naar grote taalmodellen – AI-systemen die zijn getraind op enorme hoeveelheden gegevens. onafhankelijk”. Uit de tekst die de bouwstenen vormt van chatbots als ChatGPT van Bard en OpenAI Inc. “Ik hoop dat we het punt bereiken waar we kunnen, maar het is er nog niet.”

“De grootste uitdaging waar ik aan blijf denken is: wat zijn eigenlijk de voordelen van een LLM in termen van hulp?” Dat zei Googler Cathy Pearl, verantwoordelijk voor de gebruikerservaring bij Bard, in augustus. “Alsof je echt een verschil maakt. Nader vast te stellen!”

Sinds Google Bard, het antwoord op de populaire ChatGPT-bot van OpenAI, in maart lanceerde, heeft het een gestage stroom nieuwe functies aan het product toegevoegd, waaronder de mogelijkheid van de AI-tool om afbeeldingen te analyseren en antwoorden op vragen in tientallen talen te genereren. Vorige maand onthulde Google zijn meest ambitieuze update tot nu toe: Bard verbinden met zijn populairste diensten, zoals Gmail, Maps, Docs en YouTube. Het bedrijf rolde op 19 september app-integraties uit, beginnend in het Engels.

Maar nu Google Bard in zijn kernproducten heeft geïntegreerd, heeft het bedrijf ook last gehad van klachten over de tool die verzonnen feiten genereert en potentieel gevaarlijk advies biedt. Op dezelfde dag dat het bedrijf de app-extensies introduceerde, kondigde het ook een Google-zoekknop op Bard aan om mensen te helpen de door AI gegenereerde antwoorden van de tool te controleren op geldigheid ten opzichte van de resultaten van de zoekmachine.

Andere experts hebben hun zorgen geuit over de arbeidsomstandigheden van de duizenden laagbetaalde aannemers die Bard traint, op basis van wat werknemers zeggen dat het complexe instructies zijn die ze binnen enkele minuten moeten voltooien. Binnen en buiten het bedrijf is de internetzoekgigant bekritiseerd vanwege het verstrekken van informatie van lage kwaliteit in een race om gelijke tred te houden met de concurrentie, terwijl ethische bezwaren worden genegeerd.

Voor Google is het garanderen van het succes van zijn Bard AI-chatbot uiterst belangrijk. Het bedrijf is toonaangevend op het gebied van zoeken, een financiële reddingslijn die ongeveer 80% van de omzet van moederbedrijf Alphabet genereert. Maar nu generatieve AI op het toneel verschijnt, is de dominantie van Google op het gebied van zoeken op de proef gesteld, waarbij sommigen voorspellen dat interessante nieuwe tools van OpenAI en andere startups de sterke marktpositie van Google zouden kunnen ondermijnen.

Twee deelnemers aan de Bard-community van Google op het Discord-chatplatform deelden details van discussies die van juli tot oktober op de server plaatsvonden met Bloomberg. Tientallen door Bloomberg beoordeelde berichten bieden een uniek inzicht in de manier waarop Bard wordt gebruikt en bekritiseerd door degenen die hem het beste kennen, en laten zien dat zelfs bedrijfsleiders die belast zijn met de ontwikkeling van de chatbot zich in conflict voelen over het potentieel van de tool. Rabiej legde zijn antwoord uit over de ‘wantrouwen’-reacties die voortkomen uit grote taalmodellen en stelde voor om het gebruik van Bard door mensen te beperken tot ‘creatieve/brainstormtoepassingen’. Het gebruik van Bard voor het programmeren was ook een goede keuze, zei Rabiej, “aangezien je onvermijdelijk controleert of de code werkt of niet!”

Google zei in een verklaring dat het debat over de grenzen en mogelijkheden van Bard op het Discord-kanaal van Google een “routinematig en niet verrassend” onderdeel van de productontwikkeling is. “Sinds we Bard als experiment lanceerden, wilden we graag de feedback van mensen horen over wat ze leuk vinden en hoe we de ervaring verder kunnen verbeteren”, aldus Google-woordvoerster Jennifer Rudstrom. “Ons discussiekanaal met mensen die Discord gebruiken is een van de vele manieren waarop we dit doen.” Het bedrijf voegde eraan toe dat het de Discord-server lanceerde als een op uitnodigingen gebaseerde community voordat het op grotere schaal beschikbaar werd gemaakt. Toen Bard op de markt kwam, was het bedrijf openhartig over de beperkingen ervan, waaronder het potentieel van de AI-tool om leugens te creëren die overtuigend lijken. Elke keer dat iemand Bard gebruikt, voegt Google een disclaimer toe aan de tool waarin staat: “Bard kan onnauwkeurige of aanstootgevende informatie weergeven die niet de mening van Google vertegenwoordigt.” Vertegenwoordigers van het bedrijf zeiden ook dat Google vijandige tests heeft uitgevoerd – gericht op het valideren van hoe het zou reageren op potentiële slechte actoren – intern voordat het Bard uitrolde, en dat het bedrijf verwacht meer te leren naarmate het publiek het blijft gebruiken. Lees meer: ​​Google AI-robot getraind door ‘bange, gestresste en onderbetaalde’ werknemers.

De Discord-server ging in juli live, toen duizenden uitnodigingen werden verzonden naar frequente Bard-gebruikers buiten het bedrijf. “Deel gedachten en ideeën rechtstreeks met het team achter Bard, ontvang vroegtijdige meldingen over productupdates en kom in contact met andere AI-enthousiastelingen”, luidde de uitnodiging die op 10 juli werd verzonden. De serverbeschrijving beschrijft het kanaal als de “officiële” community voor Bard-gebruikers, en Jack Krawczyk, senior productmanager bij Bard, stuurde een selfie-video naar de community terwijl de tool in Europa werd gelanceerd.

Discord reageerde niet op een verzoek om commentaar op de chat.

Er zijn momenteel ongeveer 9.000 mensen lid van de online community, en een paar van de chatmoderators zijn Discord-medewerkers. De meeste discussies gaan over het promoten van Bard en AI; Sommige gebruikers hebben fantasievolle en misschien misleidende beweringen gedaan over de mogelijkheden van de tool, waaronder dat ze een kwantumschaakcomputer hebben gebouwd met behulp van Bard of dat ze de bot kunnen gebruiken om op internet te zoeken naar gegevens over honkbalweddenschappen en complexe simulaties uit te voeren. (Google-werknemers namen deel aan een Discord-chat om te zeggen dat Bard deze vaardigheden niet heeft.)

Danielle Griffin, een recente Ph.D. Het is niet ongebruikelijk dat open source-software en kleine zoekmachinetools informele gesprekken met enthousiaste mensen op gang brengen, zegt de afgestudeerde van UC Berkeley, die zoeken op internet studeert en zich in september bij de Discord-groep heeft aangesloten. Maar Griffin, die kritisch heeft geschreven over de manier waarop Google de interpretaties van zijn producten door het publiek vormgeeft, zei dat hij zich “ongemakkelijk” voelde omdat de chat enigszins vertrouwelijk was.

De Bard Discord-chat is misschien wel “een onaangekondigde, grootschalige focusgroep of gemeenschap van AI-enthousiastelingen voor de lange termijn, maar de kracht van Google en het belang van een open discussie over deze nieuwe tools hebben me doen twijfelen.” Hij voegde eraan toe en merkte op dat de andere inspanningen van het bedrijf om feedback van de gemeenschap te krijgen, zoals de Google Search-verbinding, meer open waren voor het publiek.

Op het Bard-forum brachten gebruikers andere netelige kwesties met betrekking tot Google aan de orde, waardoor inzicht werd verkregen in hoe de technologiegigant hard werkt om de publieke kritiek te verzachten. Half juli bracht een lid van de groep het onderwerp Project Nimbus ter sprake, een contract ter waarde van $1,2 miljard voor Google en Amazon.com Inc. Om het Israëlische leger te voorzien van kunstmatige intelligentie-instrumenten, volgens een Bloomberg-recensie van de berichten. Het lid uitte zijn bezorgdheid over de rol van Google bij het mogelijk maken van dodelijk gebruik van AI, en werd snel uit de groep verbannen, waarbij moderators de gebruikers vertelden dat ze ‘politiek, religie of andere gevoelige onderwerpen’ in de chat moesten vermijden.

Diezelfde maand vroeg een andere gebruiker waarom Google vertrouwde op “onderbetaalde en overwerkte aannemers” om de antwoorden van Bard te verbeteren. Hoewel het bedrijf publiekelijk heeft verklaard dat het niet uitsluitend afhankelijk is van aannemers om de AI-operatie van Bard te verbeteren, en dat er een aantal andere manieren zijn om de nauwkeurigheid en kwaliteit ervan te verbeteren, reageerde Trace Warkentin, directeur productmanagement bij Bard, door te zeggen: Het benadrukken van het belang van menselijke input om zijn algoritmen te trainen.

“Menselijke verfijning is cruciaal voor Bard om een ​​product voor iedereen te zijn; het alternatief is dat gebruikers niet in staat zijn om de functionaliteit van het product te sturen, wat naar mijn mening een grote vergissing zou zijn”, schreef Warkentin in de chat. We hebben geen ‘ivoren toren’-product nodig.” -We hebben iets nodig dat voor iedereen geschikt is!

Er werd ook van gedachten gewisseld over de gevolgen van de enorme kosten die nodig zijn om grote taalmodellen in stand te houden. “Wordt er iets gedaan om de duizelingwekkende kosten van een LLM te verlagen?” vroeg een gebruiker op de Discord-server. “Vooral het waterverbruik per zoekopdracht en de enorme behoefte aan GPU’s (die mijnbouwintensief zijn om te produceren)?”

“Ik beschouw het als het ontwerpen van chips…of supercomputers”, antwoordde Perl, Bard’s user experience lead. “Ik denk dat we manieren zullen blijven vinden om hetzelfde gedrag te bereiken met minder middelen.”

Er waren ook zorgen over de nauwkeurigheid van Bard in de chat. Warkentin, de productmanager, benadrukte in een bespreking van de beledigingen van Bard dat Google grote stappen heeft gemaakt sinds de lancering van de AI-tool. “We zijn erg gefocust op het verminderen van hallucinaties en het vergroten van de realiteit; het is een van onze belangrijkste successtatistieken”, zei hij. “We zijn sinds de lancering een beetje verbeterd, maar het is werk in uitvoering, dus blijf het proberen en stuur ons feedback als er iets niet klopt!”

Eind september plaatste Bard’s officiële Discord-account een vraag-en-antwoordoverzicht van het “Office Hours”-evenement, dat tot doel heeft vragen uit de gemeenschap te beantwoorden over de onlangs aangekondigde integraties van Bard met Google Apps. Op de vraag of er een kans bestaat dat Bard afwijkt van de realiteit bij het samenvatten van e-mails, zei Bard’s officiële account: “We hebben ons best gedaan om ervoor te zorgen dat dit zo min mogelijk gebeurt. Maar aangezien Bard nog steeds leert en groeit, is het mogelijk dat het Het account zei dat mensen de bronnen die Bard gebruikt moeten controleren en ernaar moeten verwijzen. “Als Bard een van de integraties hallucineert, laat het ons dan weten via het bugrapportagekanaal!”

Rabiej, Bard Product Manager, benadrukte ook het belang van de nieuwe ‘Check Back Responses’-knop van de AI-tool. “Het zal dingen benadrukken die misschien niet waar zijn in oranje”, zei hij in oktober. Hij beweerde ook dat Bard geen echt begrip heeft van de tekst die het binnenkrijgt, maar dat de tool eenvoudigweg reageert met meer tekst, afhankelijk van de aanwijzingen van de gebruiker: “Onthoud dat Bard, net als elk groot taalmodel, een generatief model is – het is gewoon is.” Niet dingen opzoeken en voor je laten samenvatten, is als het maken van een script.”

Andere werknemers uitten hun ambivalentie over generatieve AI in bredere zin. “Als ik even afstand neem van mijn over het algemeen negatieve kijk op de impact die de nieuwe generatie AI kan hebben, denk ik dat onderwijs een van de interessantste en meest potentiële ‘do-good’ gebieden van deze technologie is”, zegt James, een ontwerper van gebruikerservaringen. voor. Cool, in de Discord-gemeenschap.

James zei dat instellingen voor hoger en lager onderwijs de technologie kunnen gebruiken “om rijkere ervaringen voor studenten te helpen creëren door bijna 24/7 toegang te krijgen tot ondersteuning over verschillende onderwerpen, zodra de publieke angst hiervoor voorbij is”.

©2023 Bloomberg L.P