Badacze sztucznej inteligencji bardzo polubili rzucać swoim dziełom różnego rodzaju gry do grania. Ale dlaczego?
Zanim zacznę odpowiadać na pytanie dlaczego AI lubi gry, odpowiem na nieco inne pytanie.
Dlaczego ludzie lubią grać w gry?
Micheal Stevens z VSause pewien czas temu zmierzył się z tym pytaniem. Skupił się na ludzkiej stronie problemu i nie wspomina o AI. Niemniej, jego argumenty i spostrzeżenia są dobrym punktem wyjściowym.
Micheal powołuje się na definicję gry podaną przez Chrisa Crowforda, twórcy gier komputerowych. Mówi ona, że aby czynność mogła by być sklasyfikowana jako gra, musi ona być interaktywna, mieć cel i musi mieć inne osoby lub agentów zaangażowanych w grę.
W grach rezultat naszych decyzji dostajemy natychmiast, co nie zdarza się zbyt często w prawdziwym życiu. Zasady gier są jasno zdefiniowane. Wiemy kto jest kim oraz kto jest z nami, a kto przeciwko nam – kolejna rzecz, której nie jesteśmy nigdy pewni w prawdziwym życiu.
Gry są symulacjami rzeczywistości i są uproszczonymi sytuacjami, które możemy spotkać w życiu. Gry pozwalają na szybsze porażki, z których szybciej się uczymy. Tworzą środowisko i pole doświadczalne, w którym możemy w kontrolowany sposób reagować, eksperymentować i uczyć się nowych rzeczy zanim będziemy zmuszeni robić je na poważnie.
Niektóre gry są jednocześnie wyznacznikami ludzkiej inteligencji. Szachy, Go – to są gry, które powszechnie są uważane za te wymagające dużego intelektualnego wysiłku. Jako że badacze sztucznej inteligencji chcą stworzyć AI myślące co najmniej jak człowiek, ich oczy najpierw skierowały się ku grom intelektualnym.
AI zaczyna gra w gry
W 1957 roku, Arthur Samuel zmierzył się z godnym przeciwnikiem w warcabach. Jego oponent miał za sobą mnóstwo stoczonych gier. Niektóre przegrał, niektóre wygrał, lecz z każdej z nich potrafił wyciągnąć odpowiednie wnioski i przystąpić do kolejnej partii trochę lepszym niż poprzednio. Dniami i nocami szlifował swoje zdolności.
Arthur Samuel przegrał ten pojedynek, lecz przyjął swoją porażkę jako sukces. Jego przeciwnikiem nie był człowiek. Był to komputer, który sam zaprogramował.
Program opracowany przez Samuela wykorzystywał metodę znaną dziś jako reinforced learning. Polega ona na trenowaniu sztucznej inteligencji poprzez testowanie samej siebie. W przypadku gry takiej jak warcaby tworzy się dwie kopie programu i każe im się walczyć ze sobą. Każda kopia programu próbuje nowych ścieżek prowadzących do sukcesu i zmusza siebie samego do reagowania na nowe sytuacje.
Wystarczy więc przygotować program, zrobić dwie kopie, kazać im grać ze sobą, zostawić na noc i już mamy mistrza zdolnego pokonać ludzi w każdej grze. Prosty przepis, prawda?
Nie do końca.
W połowie XX wieku ludzie byli optymistycznie nastawieni do sztucznej inteligencji. Wydawało się, że wkrótce pojawią się maszyny zdolne pokonać arcymistrzów w szachy czy w Go. Mijały jednak dekady, a wraz z nimi mijał optymizm.
Dopiero w 1997 roku, 40 lat po warcabach Arthura Samuela, DeepBlue, komputer zbudowany przez IBM był w stanie pokonać Gary’ego Kasparova, arcymistrza w szachach.
DeepMind gra w gry
Po zwycięstwie DeepBlue nad Kasparovem wielu ludzi miało nadzieję, że to jest ten moment, kiedy sztuczna inteligencja pokaże swoje prawdziwe możliwości. Tak się jednak nie stało.
Trzeba było czekać ponad 10 lat, aż technologia dogoni teorię i zrobimy kolejny duży krok naprzód.
Założony w 2010 roku w Cambridge w Wielkiej Brytanii DeepMind wziął koncept reinforced learning i połączył go z wtedy nabierającym rozpędu deep learning, tworząc deep reinforced learning. Aby przetestować, jak technologia sobie radzi, ludzie z DeepMind postanowili dać swojemu systemowi klasyczne gry z lat 80. XX wieku do rozgryzienia – Pong, Breakout, Space Invaders, Seaquest, i inne.
DeepMind nie wiedział nic o grach, w które grał. Nie miał pojęcia, czym jest paletka ani czym jest piłka. Potrafił tylko „widzieć” grę i ją kontrolować, a także wiedział na jaki parametr ma zwracać uwagę. Mimo tych ograniczeń, system potrafił metodą prób i błędów sam domyśleć się o co chodzi w tych grach i opanować je znacznie szybciej i lepiej niż jakikolwiek człowiek.
DeepMind wprowadził gry z powrotem na scenę wśród badaczy sztucznej inteligencji. Od tego momentu każdy chciał napisać własny system, który umiałby nauczyć się grać w proste gry. Prawdpodobnie każda ważniejsza gra z lat 80. XX wieku ma co najmniej jeden program, który dzięki deep reinforced learning nauczył się w nią grać.
Co sztuczna inteligencja ma z grania w gry?
Podobnie jak w przypadku ludzi marnujących czas w granie gier, ktoś może zadać pytanie „co mamy z tego, że AI gra w gry?”.
Tworzenie programów potrafiących same opanować gry ruszyło sztuczne inteligencje mocno do przodu. Pozornie proste gry, jak Go, zmusiły do opracowania bardziej wyrafinowanych algorytmów niż „sprawdź wszystkie możliwe ścieżki z tego punktu w grze”. Szachy czy Go są tak skomplikowanymi grami, że stworzenie tradycyjnych drzew decyzyjnych jest niemożliwe fizycznie. Trzeba było wymyślić nowe rozwiązania.
Wywiązała się rywalizacja między różnymi zespołami kto pierwszy opanuje daną grę. Ostatnimi czasy najbardziej prestiżowa rywalizacja toczyła się o to, czyj system opanuje grę w Go. Głównymi konkurentami byli należący do Google DeepMind oraz Facebook. Z tej batalii zwycięsko wyszedł DeepMind dzięki programowi AlphaGo, który już teraz zapisał się w historii badań nad AI, tuż obok DeepBlue i Watsona.
Obecnie wyzwaniem są gry trójwymiarowe, które wymagaja znacznie bardziej wyrafinowanych zdolności przestrzennych od sztucznej inteligencji. DeepMind pracuje nad tym problemem grając w grę trochę przypominającą Dooma, w której program musi znaleźć wyjście z labiryntu.
Prawdopodobnie świętym Graalem w przypadku gier trójwymiarowych będzie Minecraft. Ilość możliwych akcji, jakie można wykonać, będzie wymagać od AI sporego wysiłku i pewnie zaowocuje całą gamą nowych problemów i sprytnych rozwiązań.
Tworzenie AI zdolnych same zrozumieć zasady gier przybliża nas to największego obecnie wyzwania w AI – unsupervised learning. Jest to klasa algorytmów sztucznej inteligencji, które nie potrzebują setki tysięcy zdjęć kotów, aby zrozumieć czym jest kot. Takie algorytmy widzą kota jeden raz, szybko uczą się czym jest kot i potrafią odróżnić kota od krzesła czy innych obiektów.
Wielkie nadzieje są pokładane w unsupervised learning. Dzięki niemu możliwe będzie stworzenie maszyn, które znacznie szybciej będą w stanie dostosować się do nowych warunków i uczyć się szybciej niż obecne algorytmy.
A stamtąd może być już tylko jeden krok do prawdziwej sztucznej inteligencji.
Jak sądzicie, która kolejna gra zostanie opanowana przez maszyny? Quake? Doom? Minecraft? Portal? Dajcie znać w komentarzach!
