As Avaliações Vão Para a Gaveta? Uma revisão teórica dos fatores relacionados ao uso de avaliações de políticas públicas

...

de programas já possuem conhecimento das necessidades de seus programas, suas reformulações e mudanças, que seriam implementadas de qualquer maneira, e as avaliações têm a função de legitimar o processo e ganhar adeptos, servindo como instrumento de persuasão (Weiss, 1998).

Uma última dimensão seria a responsável pelo uso das avaliações, conceituada como “enlightenment”. Essa justifica-se uma vez que as conclusões de uma avaliação podem ultrapassar seus limites originais e pautar, não somente os coordenadores de programas avaliados, mas uma determinada comunidade acadêmica interessada nos resultados de dada política pública e coalizões políticas.

Os autores defendem três estudos principais que que contribuíram para a pesquisa sobre as variáveis que influenciam a utilização das avaliações: (1) o estudo de Cousins e Leithwood (1986), que tiveram por objetivo identificar os estudos empíricos sobre uso das avaliações conduzidos entre 1971 e 1985; (2) o trabalho de Shulha e Cousins (1997), que conduziram um trabalho semelhante ao já realizado em um período diferente, dessa vez de 1986à 1997; e, por fim, (3) o estudo de um grupo de pesquisadores (Johnson et al., 2009), que se dedicou a uma pesquisa sobre a utilização das avaliações nos principais periódicos de avaliação em um período de 25 anos, compreendido entre 1986 a 2005.

O primeiro estudo evidenciou relações entre as características pessoais do tomador de decisão, como liderança, experiência, treinamento e papel na organização, e utilização das avaliações. No entanto, de acordo com os autores, as informações são conflitantes. Poucos estudos apoiaram a relação entre posição do tomador de decisão na hierarquia da organização e a adequada utilização das avaliações, ou seja, a ideia de que uma posição mais alta na hierarquia seria favorável ao uso. A relação entre fatores pessoais, como experiência, também se mostrou

ambígua; a experiência no campo contribui mais para diferentes formas de processamento das informações. Características de liderança mostraram-se positivamente associadas ao uso das avaliações. O comprometimento e a receptividade à informação da avaliação foram definidos em termos do grau em que o tomador de decisão estava envolvido na avaliação, sendo que 25% dos estudos analisados afirmaram que existe uma relação direta entre a participação e o acompanhamento do processo avaliatório e a adequada utilização das avaliações.

Já Shulha e Cousins (1997), argumentam que os estudos que tentaram catalogar as variáveis que influenciariam a utilização, no período de 1986 e 1996, podem ser divididos em três fases principais. A primeira delas leva em conta o papel do contexto em que as avaliações estão inseridas. Os autores desafiaram a confecção de avaliações tradicionais e propuseram um método construtivista para a realização das mesmas, uma vez que, na percepção dos autores, a construção de conhecimento é parte integrante do contexto em que ele é produzido. Uma segunda perspectiva colocada por Shulha e Cousins (1997), enfatiza que a atividade política também estaria relacionada ao contexto. Nesse veio, a tomada de decisão alinhada às recomendações de uma avaliação não dependeria somente de um único ator, mas de outros grupos de interesse e circunstâncias do próprio setor público. Uma terceira abordagem dos estudos de utilização de avaliação de políticas relaciona-se à estrutura e aos processos organizacionais em que as avaliações estão inseridas (Shulha & Cousins, 1997). Por meio dessa perspectiva, consideram-se os canais de comunicação da organização e a burocracia de processos que, em menor ou maior grau, influenciam, diretamente, a transmissão das informações geradas pelas avaliações e a inserção de mudanças no nível organizacional.

Para Johnson et al. (2009) após uma revisão de periódicos realizada por 25 anos - 1986 a 2005, foi possível identificar 98 publicações que obedeciam aos critérios de análise e, destes, apenas 41 estudos foram considerados pelos autores como adequados. A característica de competência do avaliador foi adicionada, de acordo com os autores, pois seis estudos apontaram que os profissionais da avaliação desempenham importante papel na condução da utilização das mesmas, por diferentes razões. Embora o estudo de Cousins e Leithwood (1986) apontasse a reputação dos avaliadores na característica de credibilidade, a definição não compreendia a natureza influenciadora do avaliador, sua competência ou liderança no momento de utilizar os resultados de uma avaliação.

Assim a avaliação de programas e projetos sociais traz à tona um conjunto de questões amplas e profundamente relevantes, com as quais o pesquisador/avaliador necessariamente terá de lidar. Não há uma única forma para produzir conhecimento sobre um programa social e o pesquisador deve ter clareza de que cada escolha implica inevitavelmente posicionamento ético-político. Fazer uma opção metodológica é também fazer uma opção política. Assim, é cada vez mais necessário tornar explícitos os valores e princípios que permeiam o processo, buscando compreender o programa de forma coerente e contextualizada, assim como o seu próprio papel na avaliação. O paradigma positivista, ainda muito presente no campo, é alvo de fortes resistências por parte de abordagens qualitativas, construcionistas e participativas. Como apontado neste artigo, a emergência destas abordagens alternativas nas últimas duas décadas teve impacto na ampliação das reflexões sobre os diferentes contextos e implicações da avaliação. As metodologias participativas, em especial, trazem novos desafios para o campo. Além de envolverem a necessidade de uma preparação pessoal e coletiva, um aprendizado das formas de participação, tais metodologias pressupõem a formação de consensos e tomada de decisões conjuntamente.

Dessa forma, observa-se que