- Het grote taalmodel PaLM 2 van Google gebruikt bijna vijf keer zoveel tekstgegevens voor training als zijn voorganger LLM, heeft CNBC geleerd.
- Bij de aankondiging van PaLM 2 vorige week zei Google dat het model kleiner is dan de vorige PaLM, maar een efficiëntere ‘techniek’ gebruikt.
- Het gebrek aan transparantie over trainingsgegevens in kunstmatige-intelligentiemodellen wordt een hot topic onder onderzoekers.
Sundar Pichai, CEO van Alphabet Inc., tijdens de Google I/O-ontwikkelaarsconferentie in Mountain View, Californië, op woensdag 10 mei 2023.
David Paul Morris | Bloomberg | Getty-afbeeldingen
Het nieuwe grote taalmodel van Google, dat het bedrijf vorige week aankondigde, gebruikt bijna vijf keer meer trainingsgegevens dan zijn voorganger uit 2022, waardoor het meer geavanceerde codeer-, wiskundige en creatieve schrijftaken kan uitvoeren, heeft CNBC geleerd.
PaLM 2, het nieuwe grote algemene taalmodel (LLM) van het bedrijf dat is geïntroduceerd bij Google I/O, is getraind op 3,6 biljoen tokens, volgens interne documentatie die door CNBC is ingezien. Tokens, woordreeksen, zijn een belangrijke bouwsteen voor het trainen van LLM’s, omdat ze het model leren het volgende woord te voorspellen dat in een reeks zal verschijnen.
De vorige versie van Google’s PaLM, wat staat voor Pathways Language Model, is uitgebracht in 2022 en getraind op 780 miljard tokens.
Hoewel Google graag de kracht van zijn AI-technologie wilde demonstreren en hoe deze kan worden geïntegreerd in zoeken, e-mail, tekstverwerking en spreadsheets, wilde het bedrijf de omvang of andere details van zijn trainingsgegevens niet vrijgeven. OpenAI, de maker van de door Microsoft ondersteunde ChatGPT, heeft ook de details van zijn nieuwste LLM genaamd GPT-4 verborgen gehouden.
De reden voor het gebrek aan openbaarmaking, zeggen de bedrijven, is het competitieve karakter van het bedrijf. Google en OpenAI haasten zich om gebruikers aan te trekken die misschien naar informatie willen zoeken met conversatie-chatbots in plaats van met traditionele zoekmachines.
Maar naarmate de AI-wapenwedloop oplaait, eist de onderzoeksgemeenschap meer transparantie.
Sinds de introductie van PaLM 2 heeft Google gezegd dat het nieuwe model kleiner is dan eerdere LLM’s, wat belangrijk is omdat het betekent dat de technologie van het bedrijf efficiënter wordt terwijl er meer geavanceerde taken worden uitgevoerd. PaLM 2 is volgens interne documenten getraind op 340 miljard parameters, een indicatie van de complexiteit van het model. De originele PalM is getraind op 540 miljard parameters.
Google had niet direct commentaar op dit verhaal.
Google zei in een blogpost over PaLM 2 dat het model een “nieuwe techniek” gebruikt die “computational-optimal scaling” wordt genoemd. Dit maakt LLM “efficiënter met over het algemeen betere prestaties, waaronder snellere gevolgtrekkingen, minder parameters om te bekijken en lagere servicekosten.”
Met de aankondiging van PaLM 2 bevestigde Google het eerdere bericht van CNBC dat het model in 100 talen is getraind en een breed scala aan taken uitvoert. Het wordt al gebruikt voor 25 functies en producten, waaronder de experimentele Bard-chatbot van het bedrijf. Het is verkrijgbaar in vier maten, van klein naar groot: Gecko, Otter, Bison en Unicorn.
PaLM 2 is krachtiger dan elk bestaand model, gebaseerd op openbare bekendmakingen. De LLM van Facebook genaamd LLaMA, die het in februari aankondigde, traint 1,4 biljoen tokens. De laatste keer dat OpenAI de trainingsgrootte van ChatGPT deelde, was met GPT-3, toen het bedrijf zei dat het destijds op 300 miljard chips had getraind. OpenAI heeft GPT-4 in maart uitgebracht en zei dat het “mensachtige prestaties” laat zien in verschillende professionele tests.
LaMDA, een LLM-conversatie die twee jaar geleden door Google werd geïntroduceerd en in februari naast Bard werd geadverteerd, is getraind op 1,5 biljoen tokens, volgens de laatste documenten die door CNBC zijn ingezien.
Naarmate nieuwe AI-toepassingen snel mainstream worden, worden controverses rond de onderliggende technologie steeds intenser.
El Mahdi El Mhamdi, een senior wetenschapper bij Google Research, nam in februari ontslag vanwege het gebrek aan transparantie van het bedrijf. Op dinsdag getuigde Sam Altman, CEO van OpenAI, tijdens een hoorzitting van een subcommissie van de Senaat over privacy en technologie en was hij het met de wetgevers eens dat er een nieuw systeem nodig is om met kunstmatige intelligentie om te gaan.
“Voor een heel nieuwe technologie hebben we een nieuw raamwerk nodig”, zei Altman. “Bedrijven zoals het onze hebben zeker een grote verantwoordelijkheid voor de tools die we de wereld in sturen.”
— Jordan Novet van CNBC heeft bijgedragen aan dit rapport.
IK BEN AAN HET KIJKEN: OpenAI-CEO Sam Altman roept op tot AI-toezicht
