http://www.incompleteideas.net/IncIdeas/BitterLesson.html
Autor zajmuje się dwoma podejściami do rozwiązania jakiegoś problemu:
- pierwsze podejście to metody obliczeniowe, ogólne, które zazwyczaj wymagają dużych nakładów na sprzęt - np. sieci neuronowe.
- drugie podejście to metody kodujące jakąś wiedzę o świecie w rozwiązanie problemu.
Przykładami metod ogólnych są:
- search - czyli metody szukające rozwiązania (np. pierwszy algorytm, który pokonał człowieka w szachy)
- learning - np. sieci neuronowe
Autor przekonuje, że w dłuższej perspektywie warto zajmować się podejściem obliczeniowym (1) do jakiegoś problemu, dlatego że:
- nawet jeśli metoda obliczeniowa wymaga dużo zasobów, przez co obecnie jest niepraktyczna do użycia, to wciąż działa Prawo Moore’a (koszt obliczeń spada eksponecjalnie), więc za jakiś czas metoda zacznie być praktyczna; innymi słowy - jeśli zaprojektujemy rozwiązanie trudne obliczeniowo, ale skalujące się przy wzroście mocy obliczeniowej, to w przyszłości zdominuje to rozwiązania prostsze obliczeniowo, ale gorsze jakościowo.
- dotychczas przełomy w rozwiązywaniu problemów dokonywały właśnie metody ogólne, obliczeniowe.
Świat jest nieskończenie skomplikowany, tak samo jak nasz umysł czy sposób rozumowania. Próba upraszczania tak skomplikowanego systemu i kodowanie go jest bardzo nieefektywne. Zamiast tego generalne metody szukają i uczą się aproksymować te skomplikowane reguły rzeczywistości. Zamiast wbudowywać wiedzę w model, powinniśmy wbudować meta-metody, które pozwolą tę wiedzę systemowi zdobyć. To metody powinny znajdować aproksymacje rzeczywistości, poprzez sposoby w jakie my znajdujemy aproksymacje. AI agents powinny szukać wiedzy tak jak my a nie zawierać naszą wiedzę.