W sferze sztuczna inteligencja (AI) wokół niedawno stworzonej technologii o nazwie GPT-3. Mówiąc najprościej, jest to sztuczna inteligencja, która przewyższa wszystko, co było przed nią w tworzeniu treści ze strukturą językową – językiem ludzkim lub maszynowym.
GPT-3 został opracowany przez OpenAI, firma badawcza współzałożona przez Elona Muska i została nazwana najbardziej znaczącym i użytecznym postępem w sztucznej inteligencji od lat.
Istnieje jednak pewne zamieszanie co do tego, co robi (i, co ważniejsze, czego nie robi), więc tutaj postaram się uprościć to dla wszystkich nietechnicznych czytelników zainteresowanych zrozumieniem podstawowych zasad, które za tym stoją. Omówię również niektóre problemy, jakie przynosi, a także dlaczego niektórzy uważają, że jego znaczenie zostało nieco wyolbrzymione przez szum.
Kredyty obrazkowe: https://pixabay.com/photos/robot-mech-machine-technology-2301646
Do czego zdolny jest GPT-3?
GPT-3 jest w stanie wyprodukować wszystko, co ma strukturę językową — obejmuje to odpowiadanie na pytania, pisanie esejów, podsumowywanie długich książek, tłumaczenie języków, robienie notatek, a nawet pisanie kodu komputerowego.
Rzeczywiście, w jedna prezentacja online, pokazano, jak stworzyć aplikację, która wygląda i działa podobnie do aplikacji Instagram, korzystając z plugin dla powszechnie znanego narzędzia programowego Figma.
Jest to oczywiście dość nowatorskie i jeśli okaże się użyteczne i korzystne na dłuższą metę, może mieć poważne konsekwencje dla przyszłego rozwoju oprogramowania i aplikacji.
Ze względu na fakt, że kod nie jest jeszcze publicznie dostępny (więcej o tym później), dostęp jest ograniczony do wybranej grupy programistów za pośrednictwem API zarządzanego przez OpenAI. Od czasu wydania API w czerwcu tego roku pojawiły się przypadki poezji, prozy, reportaży i kreatywnej fikcji.
Ten artykuł jest szczególnie interesujący, ponieważ pokazuje, że GPT-3 próbuje – dość przekonująco – przekonać nas, ludzi, że nie szkodzi. Chociaż jego robotyczna uczciwość zmusza go do wyznania, że „jestem świadomy, że nie będę w stanie uniknąć zniszczenia ludzkości”, jeśli źli ludzie go popchną!
Jak działa GPT-3?
GPT-3 to model przewidywania języka w zakresie szerokich kategorii aplikacji AI. Oznacza to, że jest to struktura algorytmiczna, która pobiera pojedynczy fragment języka (dane wejściowe) i przekształca go w ten, który według algorytmu będzie najbardziej korzystny dla użytkownika.
Jest to możliwe dzięki obszernej analizie treningu wykonywanej na ogromnej ilości materiału wymaganego do „przeszkolenia” go. W porównaniu z innymi algorytmami, które nie zostały wytrenowane, OpenAI zużył już ogromną ilość zasobów obliczeniowych wymaganych dla GPT-3, aby zrozumieć, jak działają i są konstruowane języki. Według OpenAI czas obliczeniowy wymagany do osiągnięcia tego kosztował 4.6 miliona dolarów.
Aby nauczyć się, jak generować konstrukcje językowe, takie jak zdania, wykorzystuje analizę semantyczną – nie tylko słowa i ich znaczenie, ale także to, jak użycie słów różni się w zależności od innych słów w tekście.
Jest to również określane jako uczenie nienadzorowane, ponieważ dane szkoleniowe nie zawierają żadnych informacji o tym, co stanowi „prawidłową” lub „niewłaściwą” odpowiedź, jak to ma miejsce w przypadku uczenia nadzorowanego. Wszystkie informacje wymagane do obliczenia prawdopodobieństwa, że dane wyjściowe spełnią wymagania użytkownika, są pozyskiwane bezpośrednio z tekstów szkoleniowych.
Osiąga się to poprzez analizę użycia słów i zdań, a następnie demontaż ich i próbę ich rekonstrukcji.
Na przykład algorytmy mogą natknąć się na frazę „dom ma czerwone drzwi” podczas szkolenia. Następnie ponownie podaje się frazę z pominięciem słowa – na przykład „dom ma czerwony X”.
Następnie analizuje tekst w swoich danych treningowych — setki miliardów słów uporządkowanych w zrozumiałym języku — i wybiera, które słowo powinno zostać użyte do odtworzenia oryginalnej frazy.
Na początek prawie na pewno się pomylisz — może miliony razy. Jednak ostatecznie wymyśli właściwe słowo. Porównując wynik z oryginalnymi danymi wejściowymi, określa, czy dane wyjściowe są prawidłowe, a „waga” jest przyznawana krokowi algorytmu, który dał poprawną odpowiedź. Oznacza to, że z czasem „uczy się”, które strategie z największym prawdopodobieństwem przyniosą właściwą reakcję w przyszłości.
Wielkość tego dynamicznego procesu „ważenia” wyróżnia GPT-3 jako największą na świecie sztuczną sieć neuronową. Jak już zauważono, to, co osiąga, nie jest pod pewnymi względami nowatorskie, ponieważ transformatorowe modele przewidywania języka istnieją od wielu lat. Jednak system dynamicznie przechowuje i zatrudnia 175 miliardów wag przetworzyć każde zapytanie — dziesięć razy więcej niż jego najbliższy konkurent zbudowany przez Nvidię.
Dwie AI mówią o stawaniu się człowiekiem. (GPT-3)
Jakie są trudności związane z GPT-3?
Zdolność GPT-3 do generowania języka została uznana za najlepszą do tej pory w sztucznej inteligencji; należy jednak wziąć pod uwagę pewne krytyczne punkty.
Sam Altman, dyrektor generalny OpenAI, stwierdził: „Hype GPT-3 jest przesadny”. Sztuczna inteligencja zasadniczo zmieni świat, ale GPT-3 to tylko przebłysk”.
Po pierwsze, jest to obecnie niezwykle drogie narzędzie ze względu na ogromną ilość mocy obliczeniowej wymaganej do wykonywania swojej pracy. Oznacza to, że koszt jego wdrożenia byłby zbyt kosztowny dla mniejszych przedsiębiorstw.
Ponadto jest to system zamknięty lub czarnoskrzynkowy. Ponieważ OpenAI nie ujawnił wszystkich faktów, jak działają jego algorytmy, każdy, kto polega na tym, aby odpowiadać na zapytania lub budować wartościowe produkty, nie byłby całkowicie pewien, jak zostały stworzone.
Po trzecie, wydajność systemu nie jest jeszcze idealna. Chociaż jest w stanie generować krótkie komunikaty i proste oprogramowanie, jego dane wyjściowe stają się mniej przydatne (w rzeczywistości jest to określane jako „bełkot”), gdy zostanie poproszony o stworzenie czegoś dłuższego lub bardziej wyrafinowanego.
Są to niewątpliwie problemy, które z czasem zostaną rozwiązane — ponieważ koszt mocy obliczeniowej nadal spada, budowana jest standaryzacja wokół otwartych platform sztucznej inteligencji, a algorytmy są dostosowywane do większych ilości danych.
Ogólnie rzecz biorąc, uzasadnione jest stwierdzenie, że GPT-3 generuje wyniki, które są o lata świetlne przed wszystkim, co zaobserwowano wcześniej. Każdy, kto widział wyniki języka AI, rozumie, jak zmienne mogą być, a wynik GPT-3 bez wątpienia wydaje się być o krok do przodu.
Kiedy zobaczymy, że jest właściwie oddany w ręce publiczności i dostępny dla wszystkich, jego działanie powinno jeszcze się poprawić.
Przeczytaj także:
