Teoria da informação

...

No processo de desenvolvimento de uma teoria da comunicação que pudesse ser aplicada por engenheiros elétricos para projetar sistemas de telecomunicação melhores, Shannon definiu uma medida chamada de entropia, definida como sendo a medida da informação contida numa mensagem, em oposição à parte da mensagem que é estritamente determinada (portanto prevísivel) por estruturas inerentes. Para qualquer distribuição de probabilidades, é possível definir uma quantidade denominada “entropia” que tem muitas propriedades que estão de acordo com a noção intuitiva do que uma medida de informação deveria ser.

Entropia é o estado de desordem, oposto a ordem que será ordenada pelo código, grau de desordem de incerteza de um sistema, é a enorme quantidade de possibilidade de sinais encontrados na fonte que leva a desordem, existe maior tendência a entropia quando existe ruído.

Neguentropia é o estado de desordem mínima ou mínima possibilidade de escolha.

Usando a Teoria das Probabilidades, Shannon mostrou como medir a quantidade de informação. Sempre dando preferência ao sistema de numeração binário, introduziu a unidade de medida de informação: o bit : binary digit.

O bit é a unidade base de medida de informação entre duas alternativas igualmente prováveis. Por exemplo: recebemos um bit de informação quando soubermos qual o resultado do lance de uma moeda. A integibilidade da mensagem é inversamente proporcional a sua complexibilidade, por exemplo, uma pintura abstrata tem maior complexibilidade, o que dificulta sua compreensão, enquanto uma pintura de uma cesta de frutas possui menor complexidade o que, por sua vez, facilita a compreensão.

Como não existe comunicação sem ruído a teoria da informação busca aumentar o rendimento informativo das mensagens, seja pelo recurso da redundância ou pela escolha de um código mais eficiente, código é o sistema de símbolos que representam e transmitem a mensagem ao destinatário.

A teoria da informação é uma teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compreensão de dados e etc, que visa por meio da redundância ou da escolha de códigos apropriados, melhorar a transmissão da mensagem, e eliminar os ruídos que sempre existem em uma comunicação entre dois pontos. O modelo informacional foi, durante muito tempo, o verdadeiro paradigma dominante, raramente posto em questão e o mais frequentemente utilizado.