ChatGPT en generatieve AI gedijen goed, maar tegen een zeer hoog prijskaartje

Voordat ChatGPT van OpenAI op de markt kwam en de aandacht van de wereld trok vanwege zijn vermogen om overtuigende zinnen te maken, verbaasde een kleine startup genaamd Latitude consumenten met een AI Dungeon waarmee ze denkbeeldige verhalen konden creëren op basis van hun prompts.

Maar terwijl AI Dungeon in populariteit is gegroeid, merkte Nick Walton, CEO van Latitude, op dat de kosten voor het onderhouden van het op tekst gebaseerde rollenspel beginnen te stijgen. Het uitvoeren van de AI Dungeon-scriptgenerator was een GPT-taaltechnologie die werd geleverd door het AI Research Lab, mogelijk gemaakt door Microsoft OpenAI. Hoe meer mensen AI Dungeon spelen, hoe hoger de rekening die Latitude moet betalen voor OpenAI.

Om de hachelijke situatie nog te verergeren, ontdekte Walton ook dat contentmarketeers AI Dungeon gebruikten om promotiemateriaal te maken, een gebruik van AI Dungeon dat zijn team nooit had verwacht, maar dat uiteindelijk bijdroeg aan de AI-factuur van het bedrijf.

Op het hoogtepunt in 2021 schatte Walton dat Latitude ongeveer $ 200.000 per maand besteedde aan OpenAI’s zogenaamde generatieve AI-software en Amazon Web-services om de miljoenen gebruikersvragen bij te houden die het elke dag moest verwerken.

“We maakten grapjes dat we menselijke werknemers hadden en we hadden AI-medewerkers, en we gaven aan elk van hen hetzelfde bedrag uit”, zei Walton. “We geven honderdduizenden dollars per maand uit aan AI en we zijn geen grote startup, dus het waren erg hoge kosten.”

Tegen het einde van 2021 was Latitude overgestapt van het gebruik van OpenAI’s GPT-software naar goedkopere maar nog steeds capabele taalsoftware van startup AI21 Labs, zei Walton, eraan toevoegend dat de startup ook open source en gratis taalmodellen in zijn service heeft geïntegreerd om de kosten te verlagen . De generatieve AI-rekeningen van Latitude zijn gedaald tot minder dan $ 100.000 per maand, zei Walton, en de startup brengt spelers een maandelijks abonnement in rekening voor meer geavanceerde AI-functies om de kosten laag te houden.

De dure AI-rekeningen van Latitude onderstrepen een onaangename waarheid achter de recente explosie van generatieve AI-technologieën: de kosten voor het ontwikkelen en onderhouden van software kunnen buitengewoon hoog zijn, zowel voor bedrijven die de onderliggende technologieën ontwikkelen, gewoonlijk grote taal genoemd, of basismodellen, als voor bedrijven die kunstmatige intelligentie gebruiken om hun eigen software te draaien.

De hoge kosten van machine learning zijn een ongemakkelijke realiteit in de branche, aangezien durfkapitaalbedrijven die biljoenen waard kunnen zijn, en grote bedrijven zoals Microsoft, Meta en Google hun grote kapitaal gebruiken om een ​​voorsprong in technologie te ontwikkelen die kleinere concurrenten niet kunnen pakken .

Maar als de marge van AI-toepassingen permanent kleiner is dan de marges van de vorige SaaS, vanwege de hoge rekenkosten, zou dit de huidige boom kunnen belemmeren.

De hoge kosten van training en “afleiden” – wat echt werkt – van grote taalmodellen is een structurele kostenpost die verschilt van eerdere computerhausse’s. Zelfs wanneer het programma is gebouwd of getraind, vereist het nog steeds een enorme hoeveelheid rekenkracht om grote taalmodellen uit te voeren, omdat het miljarden berekeningen uitvoert elke keer dat het terugkomt als reactie op een prompt. Ter vergelijking, het renderen van applicaties of webpagina’s vereist veel minder rekenkundige bewerkingen.

Deze accounts vereisen ook gespecialiseerde hardware. Terwijl traditionele computerprocessors machine learning-modellen kunnen uitvoeren, zijn ze traag. De meeste oefeningen en gevolgtrekkingen worden nu gedaan op grafische processors, of GPU’s, die aanvankelijk bedoeld waren voor 3D-games, maar een standaard zijn geworden voor AI-toepassingen omdat ze veel eenvoudige berekeningen tegelijk kunnen uitvoeren.

Nvidia maakt het grootste deel van de GPU’s van de AI-industrie en de basischip voor het datacenter kost $ 10.000. De wetenschappers die deze modellen bouwen, grappen vaak dat ze “GPU’s smelten. “

Analisten en technologen schatten dat het kritieke proces van het trainen van een groot taalmodel zoals GPT-3 meer dan $ 4 miljoen zou kunnen kosten. Meer geavanceerde taalmodellen kunnen meer kosten dan de “hoge enkele cijfers”, zegt Rowan Curran, een analist bij Forrester die zich richt op kunstmatige intelligentie en machine learning.

Het grotere Meta LLaMA-model dat vorige maand werd uitgebracht, gebruikte bijvoorbeeld 2.048 Nvidia A100 GPU’s om 1,4 biljoen symbolen te trainen (750 woorden zijn ongeveer 1.000 symbolen), en het duurde ongeveer 21 dagen, zei het bedrijf toen het vorige maand het formulier uitbracht.

De training duurde ongeveer 1 miljoen GPU-uren. met Aangepaste prijzen van AWSHet kost meer dan $ 2,4 miljoen. En met 65 miljard parameters is het kleiner dan de huidige GPT-modellen van OpenAI, zoals ChatGPT-3, die 175 miljard parameters hebben.

Het proces van het trainen van het grote Bloom-taalmodel van het bedrijf duurde twee en een halve maand en vereiste toegang tot een supercomputer “ongeveer 500 GPU’s”, zegt Clement DeLange, CEO van AI-startup Hugging Face. “

Hij zei dat organisaties die grote taalmodellen bouwen, voorzichtig moeten zijn bij het omscholen van software, wat de software helpt zijn mogelijkheden te verbeteren, omdat het veel kost.

“Het is belangrijk om te beseffen dat deze modellen niet de hele tijd worden getraind, zoals elke dag”, zegt Delangue, erop wijzend dat dit de reden is waarom sommige modellen, zoals ChatGPT, geen kennis hebben van recente gebeurtenissen. Hij zei dat de kennis van ChatGPT stopt in 2021.

“We trainen Bloom 2 nu al en het zou niet meer dan $ 10 miljoen kosten om om te scholen”, zei Delangue. “Dit is iets wat we niet elke week willen doen.”

Om een ​​getraind machine learning-model te gebruiken om voorspellingen te doen of tekst te genereren, gebruiken ingenieurs het model in een proces dat ‘inferentie’ wordt genoemd, wat duurder kan zijn dan training omdat het miljoenen keren zou moeten worden uitgevoerd voor een gemeenschappelijk product.

Voor een populair product als ChatGPT, dat investeringsmaatschappij UBS graag heeft ontvangst 100 miljoen actieve gebruikers per maand in januari Curran denkt dat het OpenAI 40 miljoen dollar zou hebben gekost om de miljoenen claims die die maand in het programma waren ingediend te verwerken.

De kosten stijgen wanneer deze tools miljarden keren per dag worden gebruikt. Financiële analisten schatten dat de Bing AI-chatbot van Microsoft, die wordt aangedreven door het OpenAI ChatGPT-model, ten minste 4 miljard dollar aan infrastructuur nodig heeft om alle Bing-gebruikers te kunnen bedienen.

In het geval van Latitude bijvoorbeeld, terwijl de startup niet hoefde te betalen om het onderliggende OpenAI-taalmodel te trainen dat het aan het raken was, moest het wel de inferentiekosten berekenen die dichter bij “een halve cent per oproep” lagen op “een paar miljoen verzoeken per dag”, aldus een woordvoerder van Latitude. “.

“Ik was relatief conservatief”, zei Curran over zijn verslagen.

Om de zaden van de huidige AI-boom te zaaien, hebben venture capitalists en techreuzen miljarden dollars geïnvesteerd in startups die gespecialiseerd zijn in generatieve AI-technologieën. Microsoft heeft bijvoorbeeld maar liefst 10 miljard dollar geïnvesteerd in GPT-toezichthouder OpenAI, volgens berichten in de media in januari. De durfkapitaaltak van Salesforce, Salesforce Ventures, heeft onlangs een fonds van $ 250 miljoen gelanceerd voor AI-startups.

Simil Shah is een investeerder in Haystack en Lightspeed Venture Partners beschreven Op Twitter: “Venture capital-geld is verschoven van het ondersteunen van taxiritten en burrito-leveringen naar LLM en computationele generatieve AI.”

Veel ondernemers zien risico’s in het vertrouwen op aangedreven AI-modellen waar ze geen controle over hebben en waarvoor ze alleen per gebruik betalen.

zei Suman Kanuganti, oprichter van het bedrijf Persoonlijk, bevindt een chatbot zich momenteel in de bètamodus. “Omdat bedrijven verschuiven, zijn ze allemaal eigendom van Big Tech, toch? Als ze de toegang afsnijden, ben je weg.”

Bedrijven zoals het technologiebedrijf Conversica onderzoeken hoe ze de technologie kunnen gebruiken met de Azure-cloudservice van Microsoft tegen de huidige gereduceerde prijs.

Hoewel de CEO van Conversica, Jim Cascade, weigerde commentaar te geven op hoeveel de startup betaalt, erkende hij wel dat de gesubsidieerde kosten welkom zijn, aangezien het onderzoekt hoe taalmodellen effectief kunnen worden gebruikt.

“Als ze echt probeerden om break-even te spelen, zouden ze meer hel laden”, zei Cascade.

Het is onduidelijk of AI-computing duur zal blijven naarmate de industrie evolueert. Basismodelbedrijven, fabrikanten van halfgeleiders en start-ups zien allemaal zakelijke kansen in het verlagen van de prijs van het gebruik van AI-software.

Nvidia, dat ongeveer 95% van de AI-chipmarkt bezit, blijft krachtigere versies ontwikkelen die speciaal zijn ontworpen voor machine learning, maar verbeteringen in het totale chipvermogen in de hele branche zijn de afgelopen jaren vertraagd.

Jensen Huang, CEO van Nvidia, gelooft echter dat AI over 10 jaar een miljoen keer efficiënter zal zijn, niet alleen door verbeteringen in chips, maar ook in software en andere computeronderdelen.

“De wet van Moore zou in zijn beste tijd in een decennium 100-voudig hebben opgeleverd”, zei Huang vorige maand tijdens een winstoproep. “Door nieuwe processors en systemen, nieuwe onderlinge verbindingen, nieuwe frameworks en algoritmen te innoveren, en samen met datawetenschappers en AI-onderzoekers aan nieuwe modellen te werken, over deze hele schaal, hebben we het verwerken van grote taalmodellen een miljoen keer sneller gemaakt.”

Sommige startups hebben zich gericht op de hoge kosten van AI als zakelijke kans.

“Niemand zei: ‘Je moet iets bouwen dat is gebouwd om te redeneren. Hoe zou dat eruit zien?'” zei Syed Sheth, oprichter van D-Matrix, een startup die een systeem bouwt om geld te besparen op inferentie door meer verwerking in het geheugen van de computer te doen in plaats van in de GPU.

“Mensen gebruiken tegenwoordig GPU’s, de NVIDIA GPU, om de meeste van hun gevolgtrekkingen te doen. Ze kopen DGX-systemen die NVIDIA verkoopt en die veel geld kosten. Het probleem met gevolgtrekking is dat de werklast zeer snel toeneemt, wat is gebeurd met ChatGPT. Het aantal gebruikers heeft in vijf dagen de 1 miljoen gebruikers bereikt. Je GPU-capaciteit kan het onmogelijk bijbenen, want het is er niet voor gebouwd. Het is gebouwd voor training, voor grafische versnelling.”

Delangue, CEO van HuggingFace, is van mening dat het beter zou zijn om meer bedrijven te introduceren met een focus op kleinere, specifieke modellen die goedkoper zijn om te trainen en te runnen, in plaats van de grote taalmodellen die de meeste aandacht krijgen.

Ondertussen kondigde OpenAI vorige maand aan dat het de toegangskosten voor bedrijven tot zijn GPT-modellen verlaagt. Het wordt nu verzonden Vijf een cent Voor ongeveer 750 woorden output.

De lagere prijzen van OpenAI trokken de aandacht van AI-fabrikant Latitude.

“Ik denk dat het eerlijk is om te zeggen dat het absoluut een enorme verandering is die we graag zien gebeuren in de branche en we evalueren voortdurend hoe we de beste gebruikerservaring kunnen bieden”, aldus een woordvoerder van Latitude. “Latitude zal al zijn AI-modellen blijven evalueren om er zeker van te zijn dat we de beste game hebben die er is.”

Hij kijkt: “iPhone-moment” voor kunstmatige intelligentie – hype scheiden van GPT-chat en realiteit