Jak wieloręki bandyta określa, jakie reklamy i historie widzisz online

Wyobraź sobie, że jesteś hazardzistą i stoisz przed kilkoma automatami. Twoim celem jest maksymalizacja wygranych, ale właściwie nie wiesz nic o potencjalnych nagrodach oferowanych przez każdą maszynę. Rozumiesz jednak, że dźwignie, które wyciągasz, oraz częstotliwość, z jaką to robisz, będą miały wpływ na wyniki Twojej gry hazardowej.

Ten scenariusz, z którym codziennie spotykają się odwiedzający Las Vegas i Atlantic City (w jakimkolwiek stopniu ludzie nadal jeżdżą do Atlantic City), to także klasyczna logiczna łamigłówka zwana „Multi-Armed Bandit” - automaty do gier określane są jako „One-Armed Bandyci ”przez starzejące się typy Reno, ponieważ mają jedną dźwignię i biorą pieniądze ludzi. Chociaż nie ma jednego poprawnego sposobu radzenia sobie z sytuacjami, w których występuje wiele zbrojnych bandytów - najbliższym kandydatem jest Gittins Index - istnieją strategiczne podejścia do rozwiązywania tych problemów, które można zobaczyć bez rejestrowania się każdego dnia w trybie online. Wiele algorytmów regulujących sposób wyświetlania treści przez Google i na stronach internetowych opiera się na strategiach MAB. Prawie we wszystkich przypadkach celem jest połączenie uczenia się i wyników oraz maksymalizacja potencjału obu.

Stosuje się podejście bandytów wieloramiennych The Washington Post aby dowiedzieć się, jakie zdjęcia i nagłówki najprawdopodobniej klikniesz, oraz sieci bezprzewodowe, aby dowiedzieć się, które optymalne trasy oszczędzania energii są najlepsze. Algorytmy, które wyrastają z podejść MBA, są niezwykle ważne dla tych firm i wielu innych, ponieważ zasadniczo określają, kiedy i które reklamy pojawiają się online.

Dowiedzenie się, jakie reklamy wyświetlają ludziom, jest trudnym problemem, ponieważ jest tak wielu jednorękich bandytów, którzy biegają po Internecie. Algorytmy MAB dla reklam zazwyczaj wykorzystują szybko zmieniający się „śmiertelny wieloramienny problem bandytów”, który stosuje się w ograniczonych okresach czasu. Dane o ruchu są wykorzystywane do opracowywania coraz skuteczniejszych metodologii.

Trudno jest przypisać MAB do konkretnego celu, ponieważ możliwe jest stworzenie wielu wariantów formuły. Uzbrojeni bandyci na przykład mają „ramiona”, które konkurują o najwyższą oczekiwaną nagrodę. Kontekstowi bandyci robią to samo, ale z „poradami ekspertów” - danymi wcześniej zebranymi przez użytkownika - i gotowymi do pracy w sieci „ILOVETOCONBANDITS” działają tylko według harmonogramu określonych rund. W przeciwieństwie do tego, klasyczne podejście MAB nie ma żadnych informacji dodatkowych, a wynik zależy tylko od potencjału wybranego działania.

Chociaż jak dotąd najbardziej użyteczna aplikacja dla MAB wydaje się być związana z Internetem, naukowcy pracują nad znalezieniem sposobu na zastosowanie ich do scenariuszy „prawdziwego życia” (aka meatspace). W artykule z 2015 r. Naukowcy z Uniwersytetu w Kolumbii Brytyjskiej rozważają zastosowanie MAB w badaniach medycznych. Celem, jeśli okażą się tu możliwe MAB, jest to, że algorytm MAB może mierzyć wpływ konkretnego leku. Oczywistym problemem jest to, że gdyby nie można było stworzyć modulowanej komputerowo wersji, zastosowanie tego podejścia byłoby po prostu zbyt czasochłonne. Nie ma możliwości, aby projekt MAB mógł zostać umieszczony w badaniu klinicznym.

Pomysł jest ładny, ale na razie niemożliwy. Dopóki nie będzie przyszłości, w większości przypadków poczujesz zbliżającą się obecność zbrojnego bandyty, gdy desperacko próbujesz klikać wyskakujące reklamy.