Weźmy dowolny Markov chain ze stanami z i jakimiś prawdopodobieństwami przejścia pomiędzy stanami. Metropolis i Hastings pokazali, że jeśli te p-stwa przejścia zmienimy w odpowiedni sposób (używając rozkładu Bernoulliego, tzn. akceptując przejście tylko z pewnym prawdopodobieństwem, zależnym od , czyli likelihood * prior) to dostaniemy łańcuch Markova z rozkładem stacjonarnym równym , czyli prawdziwy posterior!

Twierdzenie udowadnia się poprzez udowodnienie, że konstrukcja łańcucha spełnia warunek odwracalności (za Probabilistic Artificial Intelligence) i skorzystanie z twierdzenia. Następnie na podstawie Twierdzenia Ergodycznego możemy powiedzieć, że samplując z tego łańcucha dostaniemy oszacowanie posteriora.

Źrodło: Probabilistic Artificial Intelligence