(Para mal dos pecados e contrariedade de quem tem preparado cuidadosamente uma transição suave para a vida inativa e por isso não trabalha às sextas feiras, ocupando intensamente os restantes dias úteis da semana, uma grande parte dos convites e solicitações para intervenções no exterior acontece a essas mesmas sextas feiras, vá lá saber-se a razão da coincidência. Assim acontecerá com o seminário promovido pela Agência para o Desenvolvimento e Coesão I.P., designado de Avaliação dos Fundos Europeus – dos resultados do 2020 ao Plano de Avaliação do 2030, para o qual fui convidado a participar na mesa redonda que ocupa o horário da tarde – “Como potenciar a utilidade das avaliações?”. O seminário realiza-se em Évora, com a incomodidade de, dada a pressão do horário e da deslocação (o comboio é uma miragem entre Porto e Évora, não ser possível gozar o prazer da bela gastronomia da Cidade, com os meus favoritos Dom Joaquim, a Tasquinha do Oliveira e o Botequim da Mouraria, que mais novidades excelentes não haverá pela Cidade).Mas não refletir sobre a minha vasta prática de avaliador seria um sacrilégio, daí estar a preparar-me psicologicamente para 800 quilómetros, comprometendo o descanso das sextas e sobretudo o contacto mais de perto com os netos do Porto. E já agora vai um post que sistematiza em parte a minha preparação para a mesa redonda.)
Como é que eu vejo a possibilidade de melhorar a utilidade das avaliações?
A socióloga americana Professora Carol H. Weiss, desaparecida em 2013, figura máxima da comunidade científica americana da avaliação e que talvez tenha sido a primeira a publicar uma reflexão sob a forma de artigo sobre a utilização possível e desejável dos trabalhos de avaliação, proclamava num dos seus artigos iniciais mais contundentes:
“Is anybody there? Does anybody care?”
Na altura, anos 80, Carol Weiss num estilo que lhe era próprio e que normalmente agitava a reunião anual da prestigiada Associação Americana de Avaliação, pretendia provocatoriamente chamar a atenção para a possibilidade dos destinatários interessados em avaliação poder se apresentar como um deserto que ninguém se preocupava com os resultados e qualidade das avaliações. Nesse estádio inicial, a avaliação era entendida como entretenimento de académicos e daí a provocação de Weiss.
Obviamente que desde os tempos da provocação de Weiss (no tempo do campo americano da avaliação) e não ignorando o gap temporal com que as coisas do género acontecem em Portugal, algo mudou e não deixa de ser saliente e positivo que a AD&C esteja interessada em como promover a melhoria da utilidade das avaliações.
A própria Weiss cedo nos alertou (anos 90) para que a utilidade ou utilização das avaliações não podia circunscrever-se à questão dos resultados e recomendações. A utilidade da avaliação é mais vasta. Há trabalhos de avaliação que, mais do que os resultados, despertam ideias e perspetivas úteis à operacionalização do planeamento do desenvolvimento, muitas vezes legitimam o trabalho de gestores de programas e responsáveis por políticas públicas em termos de mudanças desejadas. E, do ponto de vista dos destinatários, modernamente sustenta-se que a avaliação deve interessar não apenas a gestores de programas e políticas, para ter como destinatários a sociedade civil, designadamente o público mais informado que tem experiência cívica designadamente na vida local.
O modelo analítico que proponho para a discussão desta mesa redonda assenta em quatro dimensões, que podem inicialmente ser analisadas separadamente e que, numa interpretação mais complexa, terão depois de interagir entre si, tornando o modelo mais complexo. As quatro dimensões são: (i) o contexto em que se faz avaliação em Portugal; (ii) o papel de quem encomenda ou contrata avaliações; (iii) a intervenção das equipas de avaliação como aquela que tenho o prazer de coordenar e formar há já longo tempo; (iv) o papel dos destinatários das avaliações.
Vou neste post apresentar argumentos muito telegraficamente, para eventualmente amanhã desenvolver alguns aspetos complementares.
Em que contexto se avalia em Portugal?
A cultura de avaliação na administração pública e no aparato político de conceção e montagem de políticas públicas é débil e próprio de universos organizacionais em que as questões da accountability dos processos estão na idade da pedra. Além disso há muito poucas organizações aprendentes em Portugal, com práticas estruturadas de aprendizagem organizacional, nas quais a avaliação tem regra geral um papel relevante. É um contexto desfavorável, mas que está em progressão, sobretudo por via de um maior controlo da qualidade (ex-ante e on going) das avaliações. O Tribunal de Contas e a Inspeção Geral de Finanças poderiam ter aqui um papel determinante, não o têm, embora no caso da última entidade já tenha existido uma equipa de avaliação muito promissora. E a cultura política dominante privilegia o debate sobre o orçamento e não sobre a implementação (Orçamento Geral do Estado versus Conta Pública). Um último fator que penaliza o contexto são os ainda baixos capital científico puro e capital institucional que enquadra a avaliação que dificultam a validação social e política dos processos. A comunidade de práticas da avaliação em Portugal não está organizada e ainda não nasceu a Sociedade Portuguesa de Avaliação.
As responsabilidades de quem encomenda e contrata avaliações
Tem havido evolução nesta dimensão, quer não transformando os exercícios de avaliação em processos gigantescos e desproporcionados face à evidência disponível e mobilizável em termos concretos, quer velando mais proactivamente pela qualidade dos processos de avaliação e comunicação de resultados, quer interagindo responsavelmente com as equipas de avaliação e melhorando ligeiramente orçamentos de projeto. Mas para garantir audiência e promover a perceção da utilidade das avaliações será necessário garantir uma maior seletividade de temas e programas a avaliar. Nem tudo pode ser avaliado e, sem arrogância, devemos entender que o processo de preparação da decisão política pode recorrer a outros processos, como por exemplo, e sem provocação, gerando aquilo que designo por promover a intuição da comunicação social.
O papel das equipas de avaliação
As equipas de avaliação com prática mais intensa em Portugal são em número reduzido e só mais recentemente parte da academia tem sido chamada a investir nesta área científica e de pesquisa. O nosso esforço, e falo pela minha equipa, tem sido fundamentalmente o de responder com qualidade ao reforço de aprofundamento metodológico que o mercado de avaliação está a exigir e construindo internamente aquilo que chamamos de competência coletiva na avaliação: mais cooperação de recursos a nível da equipa, combinando modos de raciocínio diversos, mais analíticos ou mais sintéticos, mais qualitativos ou quantitativos, investindo em competências individuais temáticas e metodológicas e em métodos de avaliação participativa. O esforço de construção de avaliações baseadas em evidência tem sido notório e o desenvolvimento registado nas “avaliações baseadas na teoria” e na conceção de “teorias da mudança” de programas e políticos é também apreciável. Mas não peçam por favor às equipas de avaliação que simplifiquem processos de comunicação a troco de perda de rigor de processos e métodos para melhor comunicar resultados. As equipas de avaliação não podem ser transformadas em divulgadores ou palradores de avaliação. Não nos submetam por favor ao terror que denunciava Edgar Morin de, por exemplo, em televisão reduzir cada vez mais o tempo de apresentação de resultados de coisas cada vez mais complexas.
O universo complexo dos destinatários últimos e possíveis das avaliações
Este modelo que proponho exige também que em fim de linha haja também mudanças para potenciar a melhoria da utilidade das avaliações.
Em primeiro lugar, a questão da melhoria desse potencial não é independente do modelo de governação e do modo como o processo de tomada de decisões políticas é concretizado. Há que convir que, por razões meramente burocráticas ou de mera distração administrativa, o tempo das avaliações diverge do tempo da decisão política. Aí nada a fazer, ficam ideias e perspetivas que talvez possam ser absorvidas algures no tempo. Noutros casos, as avaliações até podem influenciar os Acordos de Parceria, mas a transformação deste em programação concreta rapidamente esquece e ignora essa memória e influência. Por outro lado, alguma descapitalização técnica e humana dos Gabinetes de Planeamento penaliza o pipeline da transferência de conhecimento inerente aos resultados das avaliações. A relação com uma equipa estável que tem tempo para absorver e tratar esse conhecimento não é igual à que é possível com equipas amovíveis sempre pressionadas pela política do dia ou pelo pedido mais exotérico de um deputado qualquer.
E não esqueçamos que a transferência de conhecimento de que falo é sempre uma transferência reflexiva. Precisa de ser contextualizada nas condições em que foi alcançada e no espaço de utilização política que possa vir a ter.
Registo para já o aspeto muito positivo do follow-up das recomendações validadas em sede de avaliação de programas. Esse follow-up é a memória que fica das avaliações e dos avaliadores, antes de passar a ser incorporados em arquivos online, esperemos que pelo bem organizados e de acesso intuitivo.
Imagino que por esta hora, o Moderador Dr. Duarte Rodrigues já estará a dar conta que excedi o meu tempo.
Até a uma próxima.
Sem comentários:
Enviar um comentário