(Em dois posts anteriores dei conta de como ia a jogo no seminário promovido pela AD&C, em Évora, sobre a avaliação de Fundos Europeus, apresentando os meus contributos para a discussão. É justo que, depois de 800 quilómetros algo cansativos apesar do sol e excelente dia que no Alentejo era ontem possível usufruir, mas com chuva intensa em muitos pedaços de percurso, como este País é diverso, retribua o convite, tentando sistematizar algumas reflexões e ideias acerca do que lá se passou. A viagem impediu-me de poder assistir à parte inicial institucional do evento, mas não devo ter perdido grande coisa. Procurarei assim sistematizar ideias sobre as duas sessões de apresentação e debate de ideias, a da manhã muito centrada na apresentação do Plano Nacional de Avaliação 2030, onde se pressente a sanha de ambição da AD&C, e a da tarde em que participei, focada no tema do uso (prefiro esta designação) ou da potencial utilidade das avaliações. Lendo com alguma distância o seminário, pressente-se o outlyer que a AD&C começa a representar em matéria de avaliação em Portugal, dada a enorme distância que separa a sua preparação e ambição avaliativas relativamente à generalidade da administração pública portuguesa e emerge também a ou o Planapp nessa senda, não só porque coordena a nova rede REplan, dedicada pelo menos no papel à coordenação de diferentes entidades de planeamento na adminsiutração pública e também ao facto do seu Presidente, Paulo Areosa feio ter moderado o primeiro painel. Vamos a factos: o que trouxeram as pessoas do seminário de Évora?)
A minha primeira reflexão vai para a já por mim apresentada ideia de que está a esboçar-se uma comunidade de avaliação em Portugal. Esboçar-se é a palavra mais apropriada, porque ela está simplesmente emergente, não tem uma génese de baixo para cima, mas é decisivamente impulsionada pela AD&C, devido essencialmente ao facto do peso enorme que as suas encomendas de avaliação acabam por assumir no mercado. Mas, para meu desgosto e impaciência, a ideia de comunidade de práticas está longe de estar consumada. Ela esboça-se nestes seminários, ficando toda a gente ciente que ela poderia surgir e que havia capacidade reflexiva para tal, mas o pós-seminários não traz as iniciativas esperadas.
A primeira sessão de debate teve como seu foco a apresentação que a Dra. Carla Leal da AD&C realizou do Plano Nacional de Avaliação 2030, em que é manifesto o impulso de ambição que a AD&C e a rede de entidades parceiras pretendem promover no quadro do PT2030. Fala-se de 80 avaliações para o atual período de programação, uma enormidade (ainda não é desta que me retiro da avaliação) e mantem-se a prática de, em matéria de avaliações de impacto, cada vez mais fundamentais para contrariar a ideia feita de os Fundos Europeus não têm tido impacto estrutural em Portugal, se associar avaliações de impactos a programas ou políticas do PT2020 já largamente concluídas com programas do PT20390 que se limitem a continuar o âmbito de política. É uma boa prática e permite compensar a impossibilidade prática de conduzir avaliações de impacto sem um nível de implementação suficiente avançado dos mesmos programas. Há no plano 2030 uma outra ideia importante que é a vontade de envolver mais sistemática a academia e a investigação nacionais em matéria de avaliação. Poderei parecer que estou a ser cínico na medida em que essa decisão retira mercado á iniciativa e eu trabalho, como sabem, numa empresa privada. Mas não estou. Existe espaço de intervenção para os dois tipos de entidades, sobretudo se a AD&C e o governo em geral forem seletivos nos convites à academia, reservando para esta última as avaliações que envolvam uma magnitude tal de dados cujo tratamento só está ao alcance de equipas universitárias (impossíveis de reunir em empresas privadas como a nossa). Aliás, o desenvolvimento do debate na minha sessão, na sequência da clarividente intervenção do Professor Fernando Alexandre da Universidade do Minho, mostrou claramente que essa será uma boa prática. Tal como o referi na minha intervenção e nos meus posts anteriores, a comunidade de avaliação em Portugal carece de capital científico puro e a chamada da investigação académica poderá preencher parcialmente esse vazio. O que importa discutir é o tipo de estímulos que devem ser propostos à academia para se envolver mais em atividades e estudos de avaliação. E a pergunta certa é a seguinte: estarão esses estímulos em linha com o sistema de mérito que prevalece hoje na academia, a publicação em revistas do ranking mais elevado possível?
O painel da manhã teve mais três intervenções: Ana Pires chefe da Unidade de Avaliação e Semestre Europeu da DG Regio, Ricardo Paes Mamede e Paulo Pedroso, dois excelentes avaliadores, ambos com ligação ao ISCTE, e que se apresentaram na qualidade de responsáveis por duas avaliações marcantes dos últimos tempos promovidos pela AD&C – o das políticas de investigação e inovação e o da metodologia para avaliação de programas complexos.
A intervenção da representante portuguesa com lugar de relevo na estrutura de avaliação da DG Régio foi para mim um completo desastre, porque inócua e não trazendo nada de relevante ao debate. Talvez esteja mais preocupada com o Semestre Europeu do que com a avaliação dos nossos programas, tendo falado sobretudo das dificuldades da DG Régio para acomodar os resultados das avaliações promovidas pelos Estados membros. Perda de tempo. Paciência. Já o mesmo não poderá ser dito a propósito das intervenções do Ricardo Paes Mamede e do Paulo Pedroso. São dois contextos relevantes de experiência. O primeiro exerceu funções relevantes no Observatório do QREN em matéria de avaliação, recordo-me da sua supervisão exigente e da animação de trabalhos sobre avaliação contrafactual, para depois a partir do Instituto de Políticas Públicas do ISCTE realizar hoje avaliações importantes, como foi a da avaliação dos sistemas de incentivos. O Paulo Pedroso tem um contexto de vai e vem interessante, alternando funções de avaliação internacional para o Banco Mundial com trabalhos para a AD&C em parcerias com várias empresas, com destaque para o IESE. Ambos trouxeram ao debate reflexões inspiradoras para reflexões posteriores. O Ricardo Paes Mamede trouxe ideias interessantes sobre a relação entre avaliação e tomada de decisão política, relembrando que esta última está condicionada por estímulos comunicacionais que dificultam a absorção de resultados de avaliação. E relembrou também que nem sempre os incentivos a que a academia participe mais ativamente em atividades e estudos de avaliação tem resposta por parte da academia, ocupada que está em construir os seus próprios curricula de mérito científico. Quanto a Paulo Pedroso, trouxe a preocupação de que nem sempre a oferta de avaliação está preparada para alinhar com as exigências de aprofundamento metodológico, mas referiu ao mesmo tempo que, apesar disso, a evolução das equipas de avaliação parece mais efetiva e rápida do que a observada nas estruturas de planeamento a quem se dirigem, ou quem encomenda e contrata avaliações.
Depois de um almoço simpático que deu para continuar algumas conversas, o painel da tarde tinha a seguinte lógica: o Dr. Joaquim Bernardo traria a experiência de uma Autoridade de Gestão de Programas Operacionais com Fundos Europeus com basta densidade de avaliações encomendadas; a minha antiga aluna Joana Almodovar, hoje a dirigir o gabinete de Estratégia e Estudos do Ministério da Economia, refletiria sobre o envolvimento de entidades não diretamente vinculadas à intervenção da AD&C; o Professor Fernando Alexandre da Universidade do Minho aportaria a reflexão sobre o potencial envolvimento acrescido da academia em trabalhos de investigação; eu próprio traria a perspetiva do avaliador; o Dr. Jorge Botelho, com o qual me cruzei lá atrás no tempo na qualidade de Presidente da Câmara Municipal de Tavira e da AMAL, refletiria sobre a utilidade da avaliação para a Assembleia da República e para grupos de trabalho que têm essa responsabilidade de acompanhar políticas públicas e fundos europeus e mobilizar resultados de avaliação para tal e, finalmente, o jornalista do Público Victor Ferreira falaria sobre dificuldades e bloqueios a uma comunicação pública de resultados de avaliação.
Penso que a lógica coerente de constituição do painel ajudou bastante à qualidade e intensidade do debate.
Com a intervenção do Joaquim Bernardo ficou explícito e bem demonstrado que as políticas de educação e formação têm beneficiado imenso da caterva de avaliações já realizadas. Todas as reprogramações do PO Capital Humano do PT2020 foram suportadas por resultados de avaliação. Toda a política pública de qualificação inicial de jovens tem sido prosseguida com o suporte concludente e positivo de muitas avaliações sobre a matéria (incluindo algumas que coordenei). O mesmo em relação à formação de adultos e à necessidade reconhecida de reequilibrar as apostas e não desvalorizar esta última em relação à formação de jovens. E, mesmo no caso de avaliações com resultados pouco lisonjeiros para a política pública (por exemplo, a baixa percentagem de doutorados apoiados por Fundos Europeus que trabalham nas empresas), a avaliação acabou por permitir à Autoridade de Gestão melhores condições de defesa e negociação para a utilização por parte da Comissão Europeia dos resultados dessa avaliação.
A intervenção da Joana Almodovar permitiu clarificar potencialidades de envolvimento mais empenhado e intenso de gabinetes de planeamento de outros ministérios em processos de avaliação, embora identificando constrangimentos e bloqueios, sobretudo a necessidade de dedicar recursos a esse envolvimento, no quadro de uma conjuntura difícil em que, na expressão do Ricardo Paes Mamede o envolvimento em avaliação significará apenas “1/16 de tudo que há para fazer nesses gabinetes”.
A intervenção do Fernando Alexandre da Universidade do Minho foi importante pelo seu otimismo em matéria de envolvimento adicional da academia em estudos de avaliação, mas fundamental e crucial do ponto de vista em que ajudou a compreender que tipo de avaliações deve o envolvimento da academia privilegiar. A equipa da Universidade do Minho por si coordenada teve acesso a toda a base de dados do acesso das empresas a sistemas de apoios e incentivos desde 2007 a 2021. Segundo o Fernando Alexandre, esta base de dados é das melhores que existe a nível mundial em matéria de ajudas às empresas e permite avaliar com rigor os contributos desses apoios para variáveis como a evolução da produtividade do trabalho, para mais distinguindo entre empresas de dimensão diferenciada e consoante receberam ao longo do processo um, dois ou n-apoios. Considero esta intervenção crucial para selecionar os trabalhos de avaliação que devem ser outorgados à academia, com extrações específicas de informação que, pela magnitude de dados que acolhem, só podem ser tratadas e estudas por equipas universitárias de grande porte. E, ainda mais importante, pela qualidade única da base de dados, tais trabalhos possibilitarão às equipas envolvidas publicações em revistas da especialidade com largo potencial para a validação do percurso académico. Uma situação clara de win-win.
Quanto à minha intervenção já dela dei conta. A intervenção do deputado Jorge Botelho foi relevante na medida em que permitiu identificar com clareza mais um utilizador potencial e interessado nos trabalhos de avaliação – a Assembleia da República e os deputados que nela trabalham.
Finalmente, o jornalista Victor Ferreira, apoiando-se no célebre sermão do Padre António Vieira que versa sobre a incompetência do pregador se a mensagem do sermão não é captada pelos fiéis, dissertou sobre as suas angústias e bloqueios para fazer um trabalho mais sério de leitura crítica dos trabalhos de avaliação. Situando-se no exemplo da baixa percentagem de doutorados apoiados pelo QREN e PT2020 a trabalhar em empresas, o jornalista do Público refletiu sobre a incomodidade de não ter tido acesso a informação que lhe permitisse discutir e problematizar aquela conclusão da avaliação sobre a formação avançada. E bateu forte e feio na disponibilização de elementos limitados a sumários executivos ou de relatórios entregues horas antes das conferências de imprensa. Retorqui-lhe que isso não é culpa dos avaliadores. As equipas de avaliação disponibilizarão de bom grado todos os materiais e bases estatísticas que conduziram aos resultados finais.
A Ministra Mariana Vieira da Silva fechou e bem num tom mais informal do que oficial o seminário, fazendo finca pé na relevância da avaliação útil e credível para contrariar a agenda mediática armadilhada que predomina na comunicação social portuguesa. Foco apenas nas condições de execução e na afirmação não demonstrada de que os Fundos Europeus não têm impacto estrutural são agendas falsas que é necessário contrariar. Assino por baixo. E tendo ouvido já na parte final do debate a minha expressão de incomodidade em ter de comunicar avaliações de programas cada vez mais complexos, nem sempre pelas melhores razões, a Ministra não resistiu quando se despedia em interpelar-me pessoalmente afirmando em tom de riso que eu também deveria começar a comunicar em registos de cinco minutos ou menos esses resultados. Alguns think-tanks de direita fazem-no com competência.
Sobre isto tenho a dizer o seguinte: Cara Mariana, não sei se estarei para aí virado, mas agradeço o conselho.
Sem comentários:
Enviar um comentário