Quais são os efeitos de um projeto de desenvolvimento humano na vida da população atingida? Ele provocou mudanças positivas no dia-a-dia das pessoas que visava beneficiar ou gerou consequências imprevistas pelos organizadores da iniciativa? Responder a essas perguntas é a motivação da avaliação de impacto de projetos sociais, campo que visa diagnosticar e sistematizar as boas práticas desses empreendimentos, avaliando outras variáveis além dos resultados imediatos e do uso de recursos financeiros.
A avaliação de impacto foi o tema da última edição do Chopp comCiência, um Happy Hour que promove desde 2016 o debate informal de assuntos científicos em bares de Campinas. Dessa vez o encontro foi realizado no Terracota Coworking, no distrito de Barão Geraldo, e integrou a programação do Campinas Innovation Festival. Quem apresentou o assunto foi a engenheira agrícola Adriana Martins, mestre em restauração de florestas e consultora em monitoramento de avaliação de projetos de desenvolvimento rural.
Adriana atua no Fundo Interamericano de Desenvolvimento Agrário (Fida), grupo da ONU que trabalha com a redução da extrema pobreza em regiões vulneráveis a eventos de desertificação, como o semiárido nordestino. De acordo com a consultora, esse é um tema bastante desafiador e multidisciplinar, que contribui para a definição de novas políticas públicas e para que os projetos não fiquem engavetados e secretos dentro das agências executoras.
Isso acontece porque um projeto pode ter tido muitos resultados, mas nenhum impacto ou até mesmo impactos negativos na vida das pessoas. Um exemplo é a implantação de cisternas nas casas de famílias rurais. A avaliação tradicional verificaria apenas quantos reservatórios foram construídos com os recursos disponibilizados, mas não as mudanças de longo prazo na vida das famílias. “Diminuiu a incidência de doenças de veiculação hídrica? De repente a cisterna foi mal construída e quebrou depois de um ano, ou a capacitação para o seu uso não foi bem-feita, a pessoa não sabia limpar, então teve algum problema para fazer essa transição”, ilustra Adriana, que ainda comenta ser muito comum o surgimento de impactos negativos relacionados à capacitação e ao talento da comunidade beneficiada.
Por esse motivo, é importante que os projetos sociais sejam desenvolvidos de forma participativa com a comunidade local, que é quem vai determinar quais são as suas demandas, independente do que o projeto inicialmente imaginou. Adriana relata que às vezes eles chegam nas comunidades imaginando que vão fazer um projeto relacionado à agricultura, mas a população se mostra mais interessada em desenvolver outras iniciativas, como artesanato. “Isso acontece bastante, então nós temos indicadores de impacto mais amplos, como geração de renda, independente do que a comunidade escolheu executar, mas também têm indicadores relacionados à produção agrícola, e aí eu vou identificar que quando essa comunidade foi fortalecida para se organizar e definir quais eram suas áreas de interesse, o artesanato surgiu no lugar da agricultura”.
Como cada projeto possui uma realidade única, os indicadores devem ser definidos a partir de pesquisas aprofundadas que levem em consideração essas particularidades. Por isso, apesar do Fida ter o seu conjunto de indicadores globais, que respondem aos Objetivos do Desenvolvimento Sustentável (ODS) da ONU, os projetos têm a flexibilidade para desenvolver seus próprios indicadores, a partir de amplas e complexas discussões. E como a metodologia de desenvolvimento é participativa, o projeto também pode iniciar com alguns indicadores, mas ter a liberdade de avaliar outros no final.
Além disso, apesar de serem usados muitos dados quantitativos, com questionários fechados, tem sido cada vez mais comum na avaliação de impacto as análises qualitativas, com entrevistas em grupo, em que as pessoas contam o processo de transformação pelo qual passaram. “Análises qualitativas são muito difíceis de analisar, porque são entrevistas em grupo, muito longas, às vezes um pouco subjetivas de avaliar, mas de onde saem relatos muito interessantes. Tanto de impactos positivos quanto de negativos. E os negativos aparecem com mais frequência do que a gente gostaria”, revela Adriana.
Procedimentos – A avaliação de impacto costuma ser realizada anos após o término do projeto, e a própria definição de quanto tempo esperar é uma decisão difícil de ser tomada, e que não tem uma resposta definitiva. Se por um lado um período maior de tempo significa que as pessoas já incorporaram as mudanças em suas rotinas, por outro, quanto mais se espera, maior é a limitação da memória. “Imagina fazer perguntas para um agricultor sobre como era a sua vida em 2012, quando o projeto acabou e em 2005, quando o projeto começou? Fica um ruído de tempo mesmo, porque para responder a avaliação de impacto você tem que explorar a memória das pessoas. Em algumas comunidades as pessoas recebem vários projetos, aí vira uma confusão”, lamenta Adriana.
Mas como só é possível saber o que mudou na vida das pessoas quando se sabe como era o cenário inicial, algo essencial na avaliação de impacto é fazer esse esforço de pesquisa desde os primeiros passos da iniciativa, por meio de um estudo de linha de base, delimitando os objetivos principais do projeto e os indicadores de impacto que serão utilizados para mensurar isso ao longo do projeto.
Além disso, também é preciso haver uma comunidade controle, que não irá receber o projeto, para poder comparar os resultados. Somente essa primeira fase já representa um grande desafio, visto que muitos projetos sociais são realizados em comunidades imensas, que demandam a aplicação de milhares de questionários para pessoas que vivem uma realidade muito diferente da dos pesquisadores. Nesse sentido, algo que tem ajudado muito nos últimos anos é o uso da tecnologia, que facilitou a coleta dos dados de pesquisa. “Há pouco tempo era tudo por papel. Três mil questionários, com 900 perguntas em papel, que depois precisavam ser transferidas para um Excel. E muitas se perdem porque têm respostas inválidas. Hoje eles respondem os questionários em tablets e assim que são sincronizados a gente já descobre quais são os questionários com as respostas inconsistentes. E isso torna viável voltar, refazer a pesquisa e checar a resposta”, explica Adriana.
Outro ponto é que, por serem realizados ao longo de muitos anos, os projetos sociais tendem a passar por períodos de muita movimentação política e de contexto regional. É comum que, ao longo de um empreendimento, surjam outras iniciativas que não tenham relação com o projeto em avaliação, como construção de escolas e estradas, mas que irão manter uma dinâmica com ele.
O problema disso é determinar, na hora da avaliação, quais foram as mudanças causadas pelo projeto que se quer avaliar e quais foram causadas pelas demais iniciativas quando seus efeitos estão inter-relacionados. Adriana relata que uma questão bastante desafiadora nesse contexto foram as políticas públicas de aquisição de alimentos da agricultura familiar, implantadas tanto na comunidade beneficiada por um de seus projetos, quanto na comunidade controle, o que fez com que a renda de todo mundo aumentasse. Depois de um tempo, ainda dentro do período do projeto, essa política pública foi enfraquecida, diminuindo novamente a renda de algumas famílias. “Só que na comunidade beneficiária, dependendo da organização social que você estimulou e o tipo de projeto que você fez, algumas foram mais resistentes, já estavam mais capacitadas a procurar outros lugares para comercializar, ou já estavam articuladas para resolver essa questão, o que tornou possível extrair o indicador de impacto”, comenta.
Por isso, algo que também ajuda é fazer avaliações intermediárias ao longo do desenvolvimento do projeto, para verificar se as ações estão caminhando em direção ao objetivo desejado e fazer mudanças quando necessário. Apesar da complexidade do processo, e da própria resistência que muitas pessoas têm à palavra avaliação, ela tem se mostrado essencial para quem quer desenvolver projetos sociais efetivos e com impactos verdadeiramente positivos na vida da população. “No próprio Fida e em outras agências da ONU a gente tem feito um esforço de esclarecer, para tirar esse receio e mostrar os seus aspectos positivos. O grande mérito é fazer com que você navegue melhor dentro das suas atividades em busca do impacto que você quer causar”, finaliza Adriana.
Por Paula Penedo P. de Carvalho
