Er is veel enthousiasme en hype geweest op het gebied van kunstmatige intelligentie (AI) rond een recent gecreëerde technologie genaamd GPT-3. Simpel gezegd, het is een AI die superieur is aan alles wat eraan vooraf is gegaan bij het creëren van content met een taalstructuur - menselijke of machinetaal.
GPT-3 is ontwikkeld door: OpenAI, een onderzoeksbedrijf dat mede is opgericht door Elon Musk, en dat de meest significante en bruikbare vooruitgang in kunstmatige intelligentie in jaren wordt genoemd.
Er is echter enige verwarring over wat het doet (en, belangrijker nog, wat het niet doet), dus hier zal ik proberen het te vereenvoudigen voor niet-technische lezers die geïnteresseerd zijn in het begrijpen van de kernprincipes erachter. Ik zal ook enkele van de problemen bespreken die het met zich meebrengt, evenals waarom sommigen denken dat het belang ervan enigszins is overdreven door hype.
Afbeeldingscredits: https://pixabay.com/photos/robot-mech-machine-technology-2301646
Waartoe is GPT-3 in staat?
GPT-3 kan alles produceren met een taalstructuur - dit omvat het beantwoorden van vragen, het schrijven van essays, het samenvatten van lange boeken, het vertalen van talen, het maken van memo's en zelfs het schrijven van computercode.
Inderdaad, in één online presentatie, wordt gedemonstreerd hoe je een app kunt maken die er hetzelfde uitziet en presteert als de Instagram-applicatie door gebruik te maken van een plugin voor de alom bekende softwaretool Figma.
Dit is natuurlijk vrij nieuw, en als het op de lange termijn bruikbaar en nuttig blijkt te zijn, kan het ingrijpende gevolgen hebben voor de toekomstige ontwikkeling van software en applicaties.
Omdat de code nog niet publiekelijk beschikbaar is (daarover later meer), is de toegang beperkt tot een selecte groep ontwikkelaars via een door OpenAI beheerde API. Sinds de release van de API in juni van dit jaar zijn er voorbeelden van poëzie, proza, nieuwsverslaggeving en creatieve fictie verschenen.
Dit artikel is vooral interessant omdat het laat zien dat GPT-3 – behoorlijk overtuigend – probeert ons mensen ervan te overtuigen dat het geen kwaad kan. Hoewel zijn robotachtige eerlijkheid hem dwingt te bekennen: "Ik ben me ervan bewust dat ik niet in staat zal zijn om de vernietiging van de mensheid te vermijden" als slechte mensen het pushen!
Hoe werkt GPT-3?
GPT-3 is een taalvoorspellingsmodel in termen van de brede categorieën van AI-toepassingen. Dit betekent dat het een algoritmisch raamwerk is dat een enkel stukje taal (een invoer) neemt en dit omzet in wat het algoritme voorspelt dat het het meest voordelige stukje taal voor de gebruiker zou zijn.
Dit is mogelijk vanwege de uitgebreide trainingsanalyse die is uitgevoerd op de enorme hoeveelheid materiaal die nodig is om het te "voortrainen". In vergelijking met andere algoritmen die niet zijn getraind, heeft OpenAI al de enorme hoeveelheid computerbronnen gebruikt die nodig zijn om GPT-3 te laten begrijpen hoe talen werken en worden geconstrueerd. Volgens OpenAI kostte de rekentijd die nodig was om dit te bereiken $ 4.6 miljoen.
Om te leren hoe taalconstructies zoals zinnen kunnen worden gegenereerd, gebruikt het semantische analyse - niet alleen de woorden en hun betekenis, maar ook hoe het gebruik van woorden varieert afhankelijk van de andere woorden in de tekst.
Het wordt ook niet-gesuperviseerd leren genoemd omdat de trainingsgegevens geen informatie bevatten over wat een "juist" of "fout" antwoord is, zoals bij leren onder toezicht. Alle informatie die nodig is om de waarschijnlijkheid te berekenen dat de output aan de eisen van de gebruiker zou voldoen, wordt rechtstreeks uit de trainingsteksten gehaald.
Dit wordt bereikt door het gebruik van woorden en zinnen te analyseren, ze vervolgens te ontmantelen en te proberen ze te reconstrueren.
De algoritmen kunnen bijvoorbeeld tijdens de training de uitdrukking "het huis heeft een rode deur" tegenkomen. Het krijgt dan de zin opnieuw met een weglating van een woord - bijvoorbeeld "het huis heeft een rode X."
Vervolgens onderzoekt het de tekst in zijn trainingsgegevens - honderden miljarden woorden geordend in zinvolle taal - en kiest welk woord moet worden gebruikt om de oorspronkelijke zin te reproduceren.
Om te beginnen is het vrijwel zeker dat het fout gaat - misschien wel miljoenen keren. Maar uiteindelijk zal het met het juiste woord komen. Door het resultaat te vergelijken met de oorspronkelijke invoergegevens, wordt bepaald of de uitvoer juist is en wordt een "gewicht" toegekend aan de algoritmestap die het juiste antwoord heeft opgeleverd. Dit betekent dat het in de loop van de tijd "leert" welke strategieën in de toekomst waarschijnlijk het juiste antwoord zullen opleveren.
De omvang van dit dynamische "wegingsproces" is wat GPT-3 onderscheidt als 's werelds grootste kunstmatige neurale netwerk. Zoals is opgemerkt, is wat het bereikt in sommige opzichten niet nieuw, aangezien transformatormodellen voor taalvoorspelling al vele jaren bestaan. Het systeem slaat echter dynamisch op en gebruikt 175 miljard gewichten om elke zoekopdracht te verwerken - tien keer meer dan zijn naaste concurrent, gebouwd door Nvidia.
Twee AI's praten over mens worden. (GPT-3)
Wat zijn enkele van de problemen die verband houden met GPT-3?
Het vermogen van GPT-3 om taal te genereren wordt geprezen als het beste dat tot nu toe is gezien in kunstmatige intelligentie; er zijn echter bepaalde kritieke punten waarmee u rekening moet houden.
Sam Altman, de CEO van OpenAI, verklaarde: "De GPT-3-hype is overdreven." AI zal de wereld fundamenteel veranderen, maar GPT-3 is slechts een glimp.”
Om te beginnen is het momenteel een extreem dure tool om te gebruiken, vanwege de enorme hoeveelheid rekenkracht die nodig is om zijn werk te doen. Dit betekent dat de implementatiekosten voor kleinere ondernemingen onbetaalbaar zouden zijn.
Verder is het een gesloten of black-box systeem. Omdat OpenAI niet alle feiten heeft onthuld over hoe zijn algoritmen werken, zou iedereen die erop vertrouwt om vragen te beantwoorden of waardevolle producten te bouwen, niet helemaal zeker zijn hoe ze zijn gemaakt.
Ten derde is de output van het systeem nog niet ideaal. Hoewel het in staat is om korte berichten en eenvoudige software te produceren, wordt de output minder bruikbaar (het wordt inderdaad beschreven als "brabbeltaal") wanneer gevraagd wordt om iets langer of geavanceerder te maken.
Dit zijn ongetwijfeld problemen die in de loop van de tijd zullen worden opgelost - naarmate de kosten van rekenkracht blijven dalen, wordt standaardisatie rond open AI-platforms gebouwd en worden algoritmen verfijnd met grotere gegevensvolumes.
Over het algemeen is het redelijk om te concluderen dat GPT-3 bevindingen genereert die lichtjaren voorlopen op alles wat eerder is waargenomen. Iedereen die de resultaten van AI-taal heeft gezien, begrijpt hoe variabel ze kunnen zijn, en de output van GPT-3 lijkt ongetwijfeld een stap voor te zijn.
Als we zien dat het op de juiste manier in de handen van het publiek wordt geplaatst en voor iedereen toegankelijk is, zouden de prestaties nog verder moeten verbeteren.
Lees ook:
