sexta-feira, 7 de outubro de 2022

QUESTÕES DE AVALIAÇÃO

 


(Fui esta semana entrevistado pela PLANapp, a nova entidade pública destinada em princípio a robustecer a capacidade pública de fornecer conhecimento e conselho à própria Administração Pública, sobre o tema da avaliação de políticas públicas. É nessa medida que trago aqui um tema em que ocupo a esmagadora maioria dos meus quatro dias semanais dedicados à consultadoria, a avaliação, infletindo de certo modo a minha prática de escrever sobre temas em que me ocupo tecnicamente sem referir trabalhos concretos. Mas como é conhecida a minha posição de não ter expectativas elevadas sobre esta nova entidade, encarando-a mais como uma agilidade governamental para calar a boca do nosso jornalismo bacoco que considera o “outsourcing” público de serviços de consultadoria um crime de lesa-pátria. Como tenho repetidamente referido e afirmo-o em qualquer local sem a mínima hesitação, na prática a consultadoria transparente e sujeita a concurso público com grande escrutínio vai ser penalizada face à que vai continuar a ser atribuída pela porta do cavalo, como é o caso da consultadoria jurídica realizada pelos grandes escritórios de advogados, aparentemente intocável.

Assim, embora tenha essa posição quanto à nova entidade, não quis deixar de responder ao convite, sobretudo porque faço parte e coordeno uma equipa de avaliação prestigiada que integra o reduzidíssimo grupo de meia dúzia de entidades privadas que suam as estopinhas com a avaliação de programas mais complexos, na perspetiva do que Tinbergen considerava uma heresia – muitos instrumentos de política para um reduzido conjunto de objetivos.

A equipa que conduziu a entrevista, um elemento da própria PLANapp e um elemento do Instituto de Ciências Sociais (uma pergunta um pouco tinhosa mas que se justifica poderá ser a de questionar em que condições foi o ICS contratado e não outra entidade universitária qualquer, que me desculpem os investigadores daquela casa) conduziu a entrevista com muito profissionalismo e pude flexivelmente dizer o que tinha para dizer.

Não vou aqui reproduzir, por razões óbvias, a entrevista. Vou tão só enunciar aqui alguns dos temas que abordei, aproveitando para reiterar e sistematizar algumas ideias que tenho deixado em algumas comunicações públicas.

Um tema incontornável é o do estado da arte da cultura de avaliação de políticas públicas em Portugal. Tenho defendido, e ainda ninguém conseguiu convencer-me do contrário, que a avaliação de políticas públicas tem uma emergência exógena na administração pública portuguesa. Isso deve-se, sem sombra de dúvidas, à influência das exigências regulamentares dos Fundos Europeus (modernamente designados de FEEI – Fundos Europeus Estruturais de Investimento) e à nossa doentia (adição, não a soma mas a dependência) relação com tais Fundos que esgotam em muitos casos os recursos públicos disponíveis para atuar. Tal como outras inovações vieram de fora (e porque não, venham elas), também a avaliação tem uma génese profundamente associada à carga regulamentar dos FEEI. Esta realidade tem vantagens e inconvenientes. Tem a vantagem de iniciar uma prática, criar raízes e hábitos, que de outro modo teria começado bem mais tarde. Tem o inconveniente de não estimular a avaliação de outras políticas públicas que não passam pelo financiamento europeu e, metodologicamente, circunscreve os processos à lógica da programação comunitária que tem também. É neste processo de aprendizagem que estamos e, sob a coordenação da AD&C, existe um Plano Nacional de Avaliação e uma rede de instituições que o animam, que tem a particularidade de monitorizar não só a qualidade dos trabalhos, mas também o seguimento das recomendações que os múltiplos trabalhos de avaliação realizam.

Começam a surgir os primeiros casos de avaliação de políticas públicas que não passam pelo financiamento comunitário (caso da política de habitação, embora o PRR vá financiar algumas das dimensões dessa política) e isso é já um acontecimento. É um facto que, ao contrário de outros países europeus, França e Bélgica, por exemplo, o Tribunal de Contas em Portugal não é consumidor de avaliação e deveria sê-lo no meu entendimento.

Insulto qualquer um que me venha dizer que esta avaliação feita por equipas sujeitas a concurso público não é transparente ou rigorosa, já que falo de experiência vivida e de investimentos de investigação que realizo há anos sobre esta matéria. As metodologias estão a ser progressivamente apuradas, sobretudo porque a matéria de avaliação, programas ou políticas com cofinanciamento europeu, está a assumir uma complexidade crescente e isso tem profundas implicações metodológicas. Outro problema é se os concursos são atempadamente lançados. Aqui há que recordar que um acordo celebrado entre a Comissão Europeia (CE) e os Estados-membros, estes últimos ocupam-se essencialmente de avaliações ex-ante, intercalar e de impactos, cabendo à CE as avaliações ex-post dos programas. Estas últimas são realizadas para o conjunto dos 27. Portugal não suscita a necessidade de qualquer avaliação específica e ficamos reduzidos a uma caixa no relatório global, um pequeno anexo vá lá ou um conjunto de parágrafos.

Falou-se também dos resultados das avaliações em termos de transferência de conhecimento para a decisão política e para quem concebe e operacionaliza as políticas públicas. Nesta matéria, tenho um entendimento muito particular do que está a acontecer. Tudo passa pela significativa alteração do processo de tomada de decisão política que passa por duas evoluções muito relevantes. Por um lado, as estruturas de planeamento dos ministérios definham já há algum tempo. Equipas envelhecidas, desmotivadas e não atrativas para novo recrutamento, fruto obviamente do declínio demográfico global do país, do facto dos mais qualificados na administração pública ganharem substancialmente menos do que no setor privado para qualificação similar e também pelo facto dos Ministros e Secretários de Estado interagirem cada vez mais com as suas equipas de assessores, extra máquina, não “passando cartão” a tais estruturas, a não ser para atenuar algum berbicacho criado na opinião pública que exige um pronunciamento técnico mais solene. Por outro lado, a preparação das políticas passa a depender de equipas de assessores dos ministérios, sem grandes possibilidades de diálogo e interação com as estruturas de planeamento. Tudo se vive e passa no tempo do imediato. Os Senhores Deputados e as Senhoras Deputadas inundam as equipas ministeriais de pedidos de informação e de esclarecimento, não porque estejam essencialmente interessados em legislar melhor, mas fundamentalmente porque reagem tal ratinho(a)s amestrado(a)s a qualquer notícia de jornal mais incómoda, sabe-se lá colocada com que agenda.

Neste novo contexto de génese da decisão política, a avaliação é geralmente enfadonha para os políticos. Com a exceção de algumas avaliações mais quantitativas que chegam a conclusões, por exemplo, como “x euros de investimento empresarial apoiado pelos FEEI deram origem a Y empregos”. Nesses casos, comunicação social, Ministros e Secretários de Estado oferecem um festim de reconhecimento à avaliação e nunca como nesses casos os resultados da avaliação chegam tão eficazmente aos ouvidos da decisão política. Nos outros casos, é óbvio que tem de haver progressos comunicacionais na divulgação dos resultados da avaliação. Mas a transmissibilidade dos resultados da avaliação para os corredores do poder e para os mecanismos da decisão política ainda tem de partir muita pedra para se transformar num pipeline de fluidez de transmissão de conhecimento. 

 


E sabemos que não temos a prática anglo-saxónica ou escandinava de avaliação experimental de políticas, antes do seu lançamento ou operacionalização. As máquinas ministeriais em Portugal resolvem (pensam que resolvem) o problema, colocando as suas equipas de comunicação a deixar notícias soltas e apreciar como que é que as elites e o pagode reagem para corrigir depois o tiro. Obviamente que neste circuito do imediatismo a avaliação rigorosa e consciente tem pouco a dizer, está noutro tempo de maturação, que não é o da voracidade com que a decisão política é hoje concebida.

Discutiu-se ainda a ética na avaliação e para isso temos literatura valiosa nas principais revistas internacionais de avaliação que nos podem ajudar. Há conflitos de interesses e linhas vermelhas que não podem ser pisados. Uma regra básica para assegurar a independência: não devemos avaliar programas nos quais tenhamos tido influência direta na sua conceção e operacionalização. Nem sempre alguns atores do processo cumprem escrupulosamente estas condições, mas nessa matéria só os júris dos concursos públicos lançados podem gerir essa rigorosidade, embora cada avaliador obedece a uma ética de avaliação.

Na parte final, discuti o que pode a própria PLANapp fazer, para além de existir, no sentido de contribuir positivamente para a melhoria do estado das coisas. Fui muito direto nesta questão. Para ter uma razão de existir, a própria estrutura tem que criar um duplo sistema de pipeline com a administração: deve contribuir para o robustecimento e revitalização das estruturas de planeamento e relacionar-se ativamente com as equipas ministeriais mais ágeis e amovíveis com a queda dos Ministros e Secretários de Estado. As duas realidades não podem ser ignoradas e uma missão possível da PLANapp seria contribuir para uma comunicação mais fluida dessas duas realidades. Não estou certo que a ideia seja compreendida e que essa seja a Missão da nova estrutura. Mas não há uma verdade ex-ante. É necessário estar atento ao que a estrutura será capaz efetivamente de fazer mesmo com as condições de recursos sub-ótimas e longe de uma entidade em velocidade de cruzeiro. E cá estarei para reconhecer se fui positivamente surpreendido ou se a estrutura se perdeu como outras nos meandros estranhos e complexos do acesso ao poder.

Para bom entendedor …

 

Sem comentários:

Enviar um comentário