Questão 4

O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma de calcular a entropia E de um sistema, a saber P_i(x) em que P_i(x) é a probabilidade do i-ésimo resultado para a variável x. Por exemplo, considere uma sequência com duas letras A coloridas, a primeira azul e a segunda vermelha. Se essas duas letras fossem colocadas numa urna, a probabilidade de se retirar, sem observar, a letra azul, como na sequência original, é 1/2. Devolve-se a letra à urna e sorteia-se novamente. A probabilidade de sair vermelha é novamente 1/2, e nesse caso tem-se:

Para uma sequência com 4 letras A, as duas primeiras azuis e as duas últimas vermelhas, colocando-as numa urna e sorteando uma, a probabilidade de sair azul é 1/2. Devolve-se a letra e sorteia-se novamente. A probabilidade da segunda letra sorteada ser azul, como na sequência original, é novamente 1/2. Procedendo dessa forma para as duas letras vermelhas, tem-se:

Com base nessas informações, qual o valor da entropia E, no caso de uma sequência com 4 letras A, sendo as 3 primeiras azuis e a última vermelha?