Det har varit mycket entusiasm och hajp inom området artificiell intelligens (AI) kring en nyskapad teknik som heter GPT-3. Enkelt sagt, det är en AI som är överlägsen allt som har kommit före den när det gäller att skapa innehåll med en språkstruktur – mänskligt eller maskinspråk.
GPT-3 har utvecklats av OpenAI, ett forskningsföretag som grundades av Elon Musk och har kallats det mest betydande och användbara framstegen inom artificiell intelligens på flera år.
Det finns dock en viss förvirring om vad den gör (och, ännu viktigare, vad den inte gör), så här kommer jag att försöka förenkla det för alla icke-tekniska läsare som är intresserade av att förstå kärnprinciperna bakom det. Jag kommer också att diskutera några av de problem som det ger, samt varför vissa anser att dess betydelse har överdrivits något av hype.
Bildkrediter: https://pixabay.com/photos/robot-mech-machine-technology-2301646
Vad är GPT-3 kapabel till?
GPT-3 kan producera vad som helst med en språkstruktur - detta inkluderar att svara på frågor, skriva uppsatser, sammanfatta långa böcker, översätta språk, ta anteckningar och till och med skriva datorkod.
Ja, i en onlinepresentation, det demonstreras hur man skapar en app som ser ut och fungerar på samma sätt som Instagram-applikationen genom att använda en plugin för det allmänt kända mjukvaruverktyget Figma.
Detta är naturligtvis ganska nytt, och om det visar sig vara användbart och fördelaktigt på lång sikt kan det få djupgående konsekvenser för den framtida utvecklingen av mjukvara och applikationer.
På grund av att koden ännu inte är allmänt tillgänglig (mer om det senare), är åtkomsten begränsad till en utvald grupp av utvecklare via ett OpenAI-hanterat API. Sedan API:et släpptes i juni i år har det dykt upp instanser av poesi, prosa, nyhetsrapportering och kreativ fiktion.
Den här artikeln är särskilt intressant eftersom den visar att GPT-3 försöker – ganska övertygande – att övertyga oss människor om att det inte gör någon skada. Även om dess robotiska ärlighet tvingar den att erkänna att "jag är medveten om att jag kommer att vara oförmögen att undvika att förstöra mänskligheten" om onda människor pressar den till!
Hur fungerar GPT-3?
GPT-3 är en språkprediktionsmodell när det gäller de breda kategorierna av AI-applikationer. Det betyder att det är ett algoritmiskt ramverk som tar ett enda språk (en ingång) och omvandlar det till vad algoritmen förutspår skulle vara det mest fördelaktiga språket för användaren.
Detta är möjligt på grund av den omfattande utbildningsanalys som utförs av den enorma mängd material som krävs för att "förträna" det. I jämförelse med andra algoritmer som inte har tränats, har OpenAI redan förbrukat den enorma mängd beräkningsresurser som krävs för GPT-3 för att förstå hur språk fungerar och är konstruerade. Enligt OpenAI kostade beräkningstiden som krävs för att åstadkomma detta 4.6 miljoner dollar.
För att lära sig att skapa språkkonstruktioner som meningar använder den sig av semantisk analys – inte bara orden och deras betydelser, utan också hur användningen av ord varierar beroende på de andra orden i texten.
Det kallas också för oövervakat lärande eftersom träningsdatan inte innehåller någon information om vad som är ett "korrekt" eller "fel" svar, som övervakat lärande gör. All information som krävs för att beräkna sannolikheten för att utdata skulle uppfylla användarens krav hämtas direkt från utbildningstexterna.
Detta uppnås genom att analysera användningen av ord och meningar, sedan demontera dem och försöka rekonstruera dem.
Algoritmerna kan till exempel stöta på frasen "hemmet har en röd dörr" under träning. Det ges sedan frasen igen med ett utelämnande av ett ord - till exempel "hemmet har ett rött X."
Den undersöker sedan texten i dess träningsdata – hundratals miljarder ord organiserade i ett meningsfullt språk – och väljer vilket ord som ska användas för att återge den ursprungliga frasen.
Till att börja med är det nästan säkert att det blir fel - kanske miljontals gånger. Men det kommer i slutändan att komma med rätt ord. Genom att jämföra resultatet med den ursprungliga indata, avgör det om utdata är rätt, och en "vikt" tilldelas algoritmsteget som gav rätt svar. Det betyder att den "lär sig" över tid vilka strategier som är mest sannolikt att ge rätt respons i framtiden.
Omfattningen av denna dynamiska "viktningsprocess" är det som utmärker GPT-3 som världens största artificiella neurala nätverk. Som har noterats är det inte nytt på vissa sätt vad den uppnår, eftersom transformatormodeller för språkförutsägelse har funnits i många år. Men systemet lagrar och använder dynamiskt 175 miljarder vikter att bearbeta varje fråga — tio gånger mer än sin närmaste konkurrent, byggd av Nvidia.
Två AI:er talar om att bli människa. (GPT-3)
Vilka är några av svårigheterna förknippade med GPT-3?
GPT-3:s förmåga att skapa språk har hyllats som den bästa hittills sett inom artificiell intelligens; Det finns dock vissa kritiska punkter att ta hänsyn till.
Sam Altman, VD för OpenAI, sa: "GPT-3-hypen är överdriven." AI kommer att förändra världen i grunden, men GPT-3 är bara en glimt."
Till att börja med är det ett extremt dyrt verktyg att använda för tillfället, på grund av den enorma mängd beräkningskraft som krävs för att utföra sitt jobb. Detta innebär att kostnaden för att implementera den skulle bli oöverkomligt dyr för mindre företag.
Dessutom är det ett slutet eller black-box-system. Eftersom OpenAI inte har avslöjat alla fakta om hur dess algoritmer fungerar, skulle alla som är beroende av den för att svara på frågor eller bygga värdefulla produkter inte vara helt säker på hur de skapades.
För det tredje är systemets uteffekt ännu inte idealisk. Även om det är kapabelt att producera korta meddelanden och enkla programvaror, blir dess utdata mindre användbar (det beskrivs faktiskt som "snabbar") när den uppmanas att skapa något längre eller mer sofistikerat.
Dessa är utan tvekan problem som kommer att lösas med tiden – eftersom kostnaden för datorkraft fortsätter att sjunka, standardisering kring öppna AI-plattformar byggs och algoritmer finjusteras med större datavolymer.
Sammantaget är det rimligt att dra slutsatsen att GPT-3 genererar fynd som ligger ljusår före allt som tidigare observerats. Alla som har sett resultaten av AI-språk förstår hur varierande de kan vara, och GPT-3:s produktion verkar utan tvekan vara ett steg före.
När vi ser den placerad på rätt sätt i allmänhetens händer och tillgänglig för alla, borde dess prestanda förbättras ytterligare.
Läs också:
