Baixe Como elaborar um modelo logico e outras Notas de aula em PDF para Lógica, somente na Docsity!
NOTA TÉCNICA
COMO ELABORAR MODELO
LÓGICO DE PROGRAMA:
um roteiro básico*
Helder Ferreira**
Martha Cassiolato**
Roberto Gonzalez**
Brasília, fevereiro de 2007
- Este Roteiro é resultado de trabalho desenvolvido na Câmara Técnica de Monitoramento e Avaliação do MP. Agradecemos a colaboração dos técnicos da SPI (Andréia Santos; Cristiane Ikawa, Fábia Souza e Rafael Monteiro), da SEGES (Lúcia Barreto, Luci- ano Pinto e Nildo Luzio) e a minuciosa revisão de Anna Peliano e Ronaldo Garcia da Disoc/Ipea. ** Técnicos da Disoc/Ipea
INTRODUÇÃO
O desenvolvimento do Modelo Lógico de Programa^1 cumpre o papel de explicitar a teoria do programa, e é um passo essencial na organização dos trabalhos de avaliação. Em particular, pode ser utilizado como um instrumento para se proceder a avaliação ex-ante de programas, com vista a melhorar a consistência global do PPA e a sua ge- rencialidade.
Alguns estudiosos da avaliação^2 destacam a importância de se partir da análise da teo- ria do programa para a identificação de deficiências ou problemas de desenho que poderão interferir no seu desempenho. Aferir a qualidade da teoria significa, em sín- tese, verificar se o programa está bem desenhado e se apresenta um plano plausível de alcance dos resultados esperados. Para tanto é necessário articular uma explícita des- crição das idéias, hipóteses e expectativas que constituem a estrutura do programa e o seu funcionamento esperado. Em muitos casos a teoria não é explicitada de forma de- talhada nos documentos oficiais, dificultando uma análise adequada.
Este Roteiro visa orientar a construção de modelo lógico de programas a fim de sub- sidiar o processo de elaboração do PPA 2008-2011, levando em conta a prioridade que deverá ser atribuída à avaliação, enquanto instrumento de melhoria da gestão.
SOBRE A METODOLOGIA DO MODELO LÓGICO
O modelo lógico^3 busca configurar um desenho do funcionamento do programa, que seja factível em certas circunstâncias esperadas, para resolver os problemas identificados. Pode ser a base para um convincente relato do desempenho esperado, ressaltando onde está o problema objeto do programa e como este se qualifica para enfrentá-lo.
Os elementos do modelo lógico são: recursos, operações/ações, produtos, resultados intermediários e finais, assim como as hipóteses que suportam essas relações e as influências das variáveis relevantes de contexto.
Os pressupostos sobre os recursos e operações/ações e como esses levam aos resultados esperados são freqüentemente referidos como a teoria do programa. As hipóteses são de que os recursos certos serão transformados em ações necessárias para os beneficiá- rios certos, e isso, em um contexto favorável, irá levar para os resultados que o pro- grama pretende alcançar. Tornar explícitas as hipóteses sobre como o programa supostamente deve funcionar, em variados contextos, cria a referência principal em que se baseia a gestão e o seu instrumento imprescindível de avaliação.
A metodologia proposta procura contribuir para a elaboração de um programa bem desenhado e que possa ser gerenciado por resultados. Neste sentido, deve orientar a estratégia de execução do programa e a definição dos indicadores para a sua avalia-
t t r
1 W.K. Kellogg Foundation -Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evalua- tion, and Action – 2004
- Bickman, L. Using Program Theory in Evaluation.New Direc ions for Program Evalua ion, n 33 – 1987; Chen, HThe- ory Driven Evaluations, Sage – 1990; Rossi, P.; Lipsey, M e Freeman, H –Evaluation, a Systematic App oach , Sage - 2004
- McLaughlin, J. e Jordan, G. – Using Logic Models -Handbook for Program Evaluation, Wholley, J - 2004
CONCEITOS BÁSICOS
Problema É uma situação indesejável declarada por uma autoridade. É condição necessária que o problema declarado possa ser enfrentado por um programa.
Indicadores da Situação Inicial
(linha de base)
São as informações (dados) que evidenciam a existência do problema, o delimitam e o dimensionam. Os indicadores devem ser apurados para o ano que antecede a imple- mentação do programa ou o mais próximo possível desse marco temporal, de forma a estabelecer uma linha de base, que permita uma comparação com os resultados futu- ros. Para efeito deste roteiro, a linha de base deve ser referente ao ano de 2007.
Objetivo do programa
Expressa o resultado que o programa se propõe a alcançar, que consiste na superação do problema em um lapso de tempo estabelecido. Caso a efetiva superação não esteja prevista durante a vigência do PPA, deve ser indicado o alcance pretendido ao término dos quatro anos do plano.
Público-alvo (^) É o conjunto de pessoas que o programa visa atender. Nesse item, deve ser informado tanto o critério que o define quanto a sua dimensão, se disponível.
Beneficiários Finais
Parcela do público-alvo que é alcançada pelo programa.
Recursos Incluem os recursos humanos, financeiros, organizacionais e políticos necessários e su- ficientes para o programa alcançar os seus objetivos. O alcance e as metas devem ser compatíveis com os recursos disponíveis.
Operação (^) É o conjunto necessário e suficiente de ações, com o qual se pode atacar, eficazmente, uma ou mais causas de um problema ( rever manual de elaboração de progra- mas)
Ações (^) São os processos que, combinando apropriadamente os recursos adequados, produzem bens e serviços com os quais se procura atacar as causas do problema. ( rever manual de elaboração programas, Item 5.15 )
Produtos Bem ou serviço resultante do processo de produção de uma ação. A cada ação deve corresponder apenas um produto. A programação interna do órgão responsável deve contemplar detalhadamente o processo de produção do bem ou serviço para que possa proceder a responsabilização e a sua efetiva gestão.
Resultados (^) Mudanças e benefícios associados à implementação das operações do programa. São mudanças específicas no comportamento, conhecimento, habilidades, status ou nível de desempenho do participante do programa, que podem incluir melhoria das condi- ções de vida, aumento da capacidade e/ou mudanças na arena política. Há dois tipos de resultados: resultados intermediários e resultado final. Os resultados intermediários são aqueles referentes ao enfrentamento das causas do problema. O resultado final corresponde ao alcance do objetivo do programa.
Fatores de contexto
São variáveis-chave, fora do controle da gerência do Programa, que a depender do seu comportamento criam condições favoráveis ou desfavoráveis ao desempenho do pro- grama.
PROCESSO DE CONSTRUÇÃO DO MODELO LÓGICO
A construção do modelo lógico se compõe de três etapas: 1) Coleta e análise de in- formações; 2) Pré-montagem do modelo lógico; 3) Validação do modelo lógico. Além destas, este Roteiro contém uma 4ª Etapa referente à Elaboração do Plano de Avaliação. O desenvolvimento do modelo lógico deve ser entendido como um pro- cesso no qual o gerente do programa e sua equipe precisam estar muito envolvidos
para compartilhar suas percepções sobre o que é o programa e quais são os resultados esperados.
Em geral, a construção do modelo lógico é uma nova forma de pensar um programa, assim é importante usar linguagem simples para facilitar o entendimento por todos. É recomendável que o trabalho de construção do modelo lógico seja coordenado e con- duzido por um grupo externo à gerência do programa, para fins deste Roteiro será denominado “assessoria externa”. Não somente é um trabalho que exige uma qualifi- cação específica, como é importante que seja feito por pessoas não comprometidas com o desenho prévio do programa.
ETAPA 1 – COLETA E ANÁLISE DAS INFORMAÇÕES
a) Coleta de documentação
A equipe gerencial do programa deve reunir toda a documentação disponível do pro- grama que será útil para a preparação de entrevistas e para a pré-montagem do mode- lo lógico. Uma assessoria externa, composta pelos responsáveis pelo processo de construção do modelo lógico, definirá o que será útil dentre os documentos disponi- bilizados. Estes podem ser, por exemplo, espelho do Programa no PPA, relatórios ge- renciais (quando houver) e relatórios de Avaliação Externa (quando houver).
b) Entrevistas com integrantes da equipe gerencial
A assessoria externa realizará entrevistas ( ♣ ) com os integrantes da equipe gerencial para obter informações necessárias e sanar dúvidas e lacunas. Estas informações, jun- tamente àquelas retiradas dos documentos coletados, serão anexadas à Planilha de pré-montagem do modelo lógico.
As entrevistas devem ser individuais e realizadas com o gerente de programa e os co- ordenadores de ação.
(♣) o questionário para entrevistas com a equipe gerencial é apresentado ao final desta Etapa
c) Sistematização das informações coletadas
Na análise dos documentos e das entrevistas realizadas, a assessoria externa irá extrair as seguintes informações: problema que gera o programa (linha de base, se possível), causas e conseqüências do problema, objetivo do programa, público-alvo, recursos, operações, ações, produtos, resultados e fatores relevantes do contexto. Todas essas informações serão agregadas na Planilha de pré-montagem do modelo lógico.
É importante cuidar da consistência dessas informações. Quando houver duas ou mais informações diferentes, elas devem ser mantidas e registradas na pré-montagem do modelo lógico.
Questionário para entrevistas com integrantes da equipe gerencial
Obs: A assessoria externa deve explicar o motivo da entrevista e informar o entrevistado so- bre os temas que serão abordados no início.
Junto ao questionário estará anexado o glossário com os conceitos básicos do modelo lógico.
Identificação do entrevistado Nome: Função que desempenha no programa: Identificação do Problema Qual o problema que o programa se propõe a enfrentar? Quais as principais conseqüências do problema? Por que esse problema existe: Quais as causas mais importantes desse problema? Existem outros programas (federais, estaduais, municipais, privados ou de Ongs) que a- tuam sobre causas desse problema? Descrição do Programa Objetivo Qual o objetivo do programa?. Público Alvo Qual o público-alvo do programa? (quantifique e regionalize a sua distribuição, se possível, e destaque as diferenças por idade, sexo, cor ou raça, região etc.) Quantos são os beneficiários (parcela do público-alvo atendida) do programa? Indi- que a taxa de cobertura pretendida para cada ano do PPA. Operações/ações(ações orçamentárias e não orçamentárias) Quais são as operações que compõem o programa? Que ações compõem as operações? Qual a finalidade de cada ação? Quais os produtos previstos para cada ação? Como será organizada a coordenação das operações? Resultados esperados do Programa Quais são os resultados esperados? ( A pergunta deve ser feita de forma aberta e seu pro- pósito é captar tanto resultados intermediários quanto finais .) Que resultados pretende alcançar no período do PPA 2008-2011? Se o programa é temporário, quantos anos são previstos para a completa execução do programa? Como as ações e seus produtos contribuem para alcançar os resultados? Justifique cada uma delas. Análise do Contexto Quais são fatores de contexto que podem afetar o desempenho do programa? Que tipo de alterações o programa pode sofrer por conta de mudanças de contexto?
ETAPA 2 – PRÉ-MONTAGEM DO MODELO LÓGICO
Uma vez de posse das informações levantadas na etapa anterior, a assessoria externa já tem os principais elementos para a construção do diagrama em que será apresentado o Modelo Lógico. Sugere-se que seja feito um exercício de pré-montagem do modelo lógico, do início até o fim.
A equipe gerencial do programa não participa desta Etapa.
ORIENTAÇÕES GERAIS DA PRÉ-MONTAGEM
Colocar apenas um item ou idéia em cada “cartela” , limitando as palavras no diagrama. Providenciar mais detalhe em quadros separados ou numa narrativa escrita.
Utilizar os elementos coletados. Deve-se trazer para o Modelo Lógico todos os elemen- tos essenciais levantados na Etapa I. (Quando algum enunciado proposto não puder compor o fluxograma, deixar anotado em uma “cartela” à parte e questionar sobre sua relevância quando da validação com a equipe gerencial do programa).
Não incluir informações que não tenham sido coletadas anteriormente. Pode ser que du- rante a montagem do Modelo Lógico surjam lacunas ou inconsistências; por exem- plo, pode ser que a meta de determinada ação seja insuficiente para garantir o respectivo resultado. Anotar e levantar a questão na etapa de validação.
Um modelo lógico deve representar a teoria subjacente ao programa e contemplar a- penas aspectos que o grupo considere essenciais para mostrar como o programa funciona.
O PROCESSO DE PRÉ-MONTAGEM
O Modelo Lógico deve ser composto de três partes:
- Explicação do problema e referências básicas (objetivo, público-alvo e bene- ficiários);
- Estruturação do programa para alcance de resultados;
- Definição de fatores de contexto.
deve ser aquilo que é diretamente gerado pela ação do programa. Pode ser que o pro- duto de uma ação seja um recurso necessário ou uma pré-condição para que outra a- ção aconteça, e nesse caso isso deve ser representado por uma flecha que retorne para a coluna recursos (primeiro caso) ou ações (segundo caso).
As duas últimas colunas se referem aos resultados do programa. A coluna do resultado
bservação
final deve conter em geral apenas um enunciado, que está diretamente relacionado ao objetivo do programa, refletindo a mudança no problema. Já a coluna de resultados intermediários evidencia mudanças nas causas do problema e reúne os resultados que, partindo dos produtos do programa, levam àquele resultado final. Tanto o resultado final quanto os resultados intermediários devem ser verificáveis e, portanto, não po- dem ser enunciados de maneira genérica. Um resultado intermediário pode ser con- seqüência de um ou mais produtos; da mesma forma, um produto pode contribuir para mais de um resultado intermediário. Dependendo da complexidade do progra- ma, pode ser que alguns resultados intermediários levem a outros, que por sua vez le- varão ao resultado final. O importante é que os vínculos causais estejam adequadamente representados no fluxograma, de forma que seja possível ver clara- mente a relação entre aquilo que o programa deve produzir e o resultado a que se propõe.
O
A definição dos resultados intermediários provavelmente será a parte mais com- plexa da pré-montagem. Pode ser preferível definir primeiro o resultado final, e depois uni-lo a cada um dos produtos do programa por meio de um ou mais re- sultados intermediários. Se esse exercício se mostrar inverossímil, talvez o resul- tado final esteja muito distante do que o programa realmente faz: considere propor a sua reformulação.
Uma vez incluídos todos os elementos nas colunas e construídos os vínculos causais, cabe revisar o fluxograma “de trás para frente” questionando se os resultados inter- mediários são todos necessários e, no seu conjunto, suficientes para produzir o resul- tado final; se os produtos são efetivamente capazes de gerar os resultados intermediários e assim por diante.
PRODUTOS Produto 1.
Produto 2.
Produto 2.
Produto 3.
Produto 3.
Produto 4.
Produto 2.
Produto 2.
Ação 1.
AÇÕES
Ação 2.
INTERMEDIARIOS^ RESULTADOS
Res. Interm. B
Res. Interm. D
Res. Interm. C
Res. Interm. E
Res. Interm. F
Res. Interm. A
RECURSOS Recurso 1
Recurso 2A Recurso 2B Recurso 2C
Recurso 3A Recurso 3B
Recurso 4A Recurso 4B
RESULTADO FINAL
RESULTADO FINAL
OPERAÇÕES Operação 1
Operação 2
Operação 4
Operação 3
Ação 2.
Ação 2.
Ação 2.
Ação 2.
Produto 2.
Ação 3. Ação 3. Ação 4. Ação 4.
Produto 4.
DEFINIÇÃO DE FATORES DE CONTEXTO
Ao fim, deverão ser listados os fatores de contexto do programa apontados durante a coleta de informações (Etapa I). Identifique os fatores de contexto que podem influ- enciar o desempenho do Programa. Os fatores de contexto devem ser separados de acordo com a sua influência positiva ou negativa sobre a probabilidade do programa atingir os resultados esperados.
F A T O R E S D E C O N T E X T O
F a to r 2
D E S F A V O R A V E L
F a to r 1
F A V O R A V E L
F a to r 5
F a to r 3 F a to r 4
F a to r 6
a) Checagem dos componentes do modelo lógico: a equipe gerencial irá checar cada uma das idéias contidas nas cartelas e irá sugerir as correções pertinentes, de forma compartilhada e consensuada.
As cartelas não incluídas durante a pré-montagem deverão ser discutidas com a equi- pe gerencial, que deverá confirmar sua exclusão ou propor sua reinserção no modelo lógico.
No que se refere aos fatores de contexto, apurar se há mudanças nos mesmos que po- dem afetar o desempenho do Programa, registrando numa nova cartela.
b) Teste de consistência do modelo lógico: a sugestão para testar o modelo lógico é buscar descrever a lógica do Programa com hipóteses, verificando uma série de asser- tivas “ se – então” :
Considerando as percepções sobre os fatores–chave do contexto, se utilizo tais recursos, então implemento tais operações/ações do Programa; se tais operações/ações, então obtenho tais produtos para grupos de beneficiários. Se tais produtos são realizados, então alcanço tais resultados intermediários. Se resultados intermediários ocorrem, então obtenho resultado final que irá levar à solução do problema.
c) Análise de Vulnerabilidade
A análise de vulnerabilidade é uma ferramenta para identificar os elementos de inva- lidação das apostas contidas na estruturação do modelo lógico, decorrentes das asser- tivas “se – então” verificadas no teste de consistência realizado anteriormente. Eventuais fragilidades das operações/ações para o alcance dos resultados pretendidos devem então ser identificadas.
As condições de invalidação são então mapeadas, analisando as operações/ações e os resultados esperados caso a caso. Busca-se, assim, explicitar as situações em que a pro- babilidade de ocorrência de condições de invalidação é alta, aliada ao impacto espera- do de não se alcançar o resultado que também é alto. Nessas situações, o objetivo é buscar identificar estratégias capazes de superar os elementos de invalidação, prováveis de ocorrer.
Para realizar a análise de vulnerabilidade, deve-se verificar qual a probabilidade de ocorrência da condição de invalidação de cada aposta parcial. Esta é entendida co- mo a operação necessária para o alcance de resultado intermediário, que será avali- ada qualitativamente como alta, média ou baixa Também será avaliado o seu impacto sobre o Programa (alto, médio ou baixo). Com base nessa análise, será pos- sível chegar à conclusão de que a operação é vulnerável ou não a essa possível con- dição de invalidação. A Análise de vulnerabilidade deverá estar organizada em uma matriz como apresentada a seguir:
Aposta 1 : se realizo tal operação então alcanço determinado resultado, a menos que :
Condições de invali- dação
Probabilidade de ocorrência
Impacto sobre o Programa Vulnerabilidade
1.1 alta baixo Não
1.2 alta alto Sim
Estratégias para superar vulnerabilidades:
Observação: Toda aposta esconde fragilidades, tente sempre descobri-las questionando as circunstâncias que invalidam o resultado da aposta.
d) Análise da pertinência e suficiência das operações/ações
Depois de realizada a análise de vulnerabilidade, o conjunto das ações deve ser anali- sado, tendo em vista aquelas consideradas necessárias e suficientes para o alcance do objetivo do Programa. Dessa análise, poderão ser identificadas lacunas na programa- ção, bem como ações com maior potencial de produzir efeitos nos resultados deseja- dos. As eventuais lacunas identificadas deverão ser superadas com o redesenho do modelo lógico do Programa.
Definidas as operações e ações que irão compor o Programa para o enfrentamento do problema, construa a Matriz operações/causas, onde será avaliado o impacto de cada operação sobre as causas principais do problema.
Use como símbolos:
A = alto; M = médio; B = baixo; 0 = nenhum ⇒ para a intensidade do impacto
(+) positivo; (-) negativo ⇒ para o sentido do impacto
Matr z operações/causas i causas operações
C1 C2 C3 C
Op Op Op Op
e) Definição dos indicadores de desempenho
Além da montagem do modelo lógico, a equipe gerencial, com o auxílio da assessoria externa, deverá definir os indicadores apropriados para aferir o desempenho do Pro- grama. O conceito de desempenho, aqui utilizado, é o compromisso de execução de uma programação tida como desejável e exequível.
Os Indicadores de desempenho referem-se a medidas relativas aos produtos, aos resul- tados intermediários e final. Devem observar os seguintes requisitos:
ETAPA 4 – ELABORAÇÃO DO PLANO DE AVALIAÇÃO
Uma vez construído o modelo lógico, tem-se os elementos para formatar um plano de avaliação adequado ao Programa. Um papel chave do modelo lógico é que ele permite elaborar de forma clara e precisa quais perguntas a avaliação deve responder.
O plano de avaliação^5 deverá conter a seguinte estrutura:
- Propósito da Avaliação : identificar claramente qual a necessidade da avaliação e qual o seu propósito.
- Perguntas de Avaliação : questões específicas que a avaliação irá responder. Devem estar estreitamente alinhadas com os propósitos mencionados, e res- pondê-las deve ser factível.
- Métodos de Avaliação : estratégia geral de desenho para responder as questões de avaliação, incluindo como coletar e analisar dados. Também implica em identificar a existência e a disponibilidade de fontes de informação relevantes para responder a questão.
- Composição da Equipe de Avaliação : identificação do tamanho, qualificações e habilidades requeridos dos avaliadores.
- Procedimentos da Avaliação: especificar os vários procedimentos necessários, incluindo as atividades a serem desenvolvidas, sua duração e cronograma.
- Apresentação e Uso : um breve roteiro indicando como a avaliação será apre- sentada e como os achados da avaliação serão utilizados.
- Orçamento: estimativa do custo, identificando as fontes de financiamento.
- Baseado em: W.K.Kellogg Foundation: The Evaluation Plan (ver site www.wkkf.org).
ANEXO
MODELO LÓGICO CONSTRUÍDO
PARA O PROGRAMA 2º TEMPO
