O Processo de Monitoramento do Programa Nacional de Alimentação Escolar

CÁSSIA AUGUSTA AMARAL BUANI O PROCESSO DE MONITORAMENTO DO PROGRAMA NACIONAL DE ALIMENTAÇÃO ESCOLAR Dissertação apresentada à Universidade Federal de São Paulo como requisito parcial para obtenção do título de Mestre Profissional em Ensino em Ciências da Saúde São Paulo 2011 CÁSSIA AUGUSTA AMARAL BUANI O PROCESSO DE MONITORAMENTO DO PROGRAMA NACIONAL DE ALIMENTAÇÃO ESCOLAR Dissertação apresentada à Universidade Federal de São Paulo como requisito parcial para obtenção do título de Mestre Profissional em Ensino em Ciências da Saúde Orientadora Profª Drª Sylvia Helena Souza da Silva Batista São Paulo 2011 Buani Cássia Augusta Amaral O Processo de Monitoramento do Programa Nacional de Alimentação Escolar Cássia Augusta Amaral Buani São Paulo 2011 198 p Dissertação Mestrado Profissional Universidade Federal de São Paulo Escola Paulista de Medicina Programa de Pósgraduação em Ensino em Ciências da Saúde 1 Alimentação Escolar 2 Avaliação 3 Monitoramento 4 PNAE 1 Relações Internacionais 2 Internacionalização de RESUMO Este trabalho tem como objetivo analisar o processo de monitoramento desenvolvido no Programa Nacional de Alimentação Escolar PNAE por meio da ótica dos atores envolvidos nesse processo O referencial adotado abrangeu a discussão sobre avaliação e monitoramento e as concepções de monitoramento que orientam o PNAE A metodologia envolveu a realização de pesquisa descritivaexploratória com abordagem qualitativa dos dados coletados Os resultados evidenciaram que uma concepção de monitoramento para o PNAE envolve o acompanhamento contínuo com a elaboração de um método planejamento de ações e definição de indicadores capazes de mensurar os resultados das atividades desenvolvidas Essa concepção é essencial para a implementação efetiva do Programa A importância social e o atual estágio de amadurecimento do Programa podem ser ainda mais significativos com a aplicação e o fortalecimento de ferramentas de monitoramento e de avaliação das ações compreendidas nessa iniciativa Dessa forma a pesquisa procurou avançar no debate sobre a existência de um padrão de monitoramento em que os dados coletados sirvam de subsídios para alimentar indicadores A avaliação aparece como ferramenta vital para a melhoria da gestão de políticas públicas e como tal auxilia na produção de informações relevantes para o aprimoramento das ações governamentais ABSTRACT This work aims towards analyzing the monitoring process of the National School Feeding Programme through the perspective of the stakeholders involved in its management The adopted reference involved the discussion about evaluation monitoring and its meanings which are essential to guide the NSFP implementation The methodology involved descriptive and exploratory research with qualitative approach of the collected data The results highlighted that an idea of monitoring for NSFP is closely related to the constant following of the activities with a well defined method action planning and indicators definition which are capable of measuring the activities In addition social importance and the current stage of maturity of the program contribute to the strengthening of monitoring tools and evaluation of the actions in this initiative Thus the work contributes to advance in the debate on the existence of a standard monitoring in which data collected is used as subsidy for feeding indicators Assessment comes as a vital tool for improving management of public policies and as such assists in the production of relevant information to the improvement of governmental actions SUMÁRIO LISTA DE SIGLAS E ABREVIATURAS 12 1 INTRODUÇÃO 9 2 OBJETIVOS 13 21 GERAL 13 22 ESPECÍFICOS 13 3 REFERENCIAL TEÓRICO 14 31 AVALIAÇÃO INCURSÕES TEÓRICAS 14 32 MONITORAMENTO CONDIÇÃO PARA AVALIAÇÃO 29 33 INDICADORES COMO MEDIR RESULTADOS 33 34 O MONITORAMENTO DO PNAE 37 341 Histórico do PNAE 37 342 Histórico do Monitoramento do PNAE até 2002 39 343 2003 Nova abordagem para o PNAE 50 344 O Processo de Monitoramento do PNAE 67 4 METODOLOGIA 74 41 CONTEXTO DE PESQUISA 75 42 POPULAÇÃO DE ESTUDO 76 43 PROCESSO DE COLETA DE DADOS 77 431 Entrevista SemiEstruturada Com os Técnicos do PNAE 77 44 PROCESSO DE ANÁLISE DE DADOS 81 45 PROCEDIMENTOS ÉTICOS 82 5 RESULTADOS E DISCUSSÃO 83 51 CONHECENDO OS PARTICIPANTES 83 52 CONHECENDO AS CONCEPÇÕES DOS SUJEITOS 84 521 Monitoramento Sentidos e Funções 84 522 Modelos de Monitoramento 87 523 Limites e Possibilidades do Monitoramento 90 524 Necessidade de Formação aprendendo para monitorar 93 53 DISCUTINDO OS DADOS 95 531 Monitoramento como acompanhamento e planejamento 95 532 O Lugar da Definição de Indicadores para o Monitoramento Continuado e Planejado 100 533 Monitoramento no PNAE Modelo e Instrumentos 102 534Limites e Possibilidades do Monitoramento no PNAE 103 535 Necessidade de Formação Uma Demanda uma Exigência para um Bom Monitoramento 106 6 CONSIDERAÇÕES FINAIS 108 7 REFERÊNCIAS 125 8 ANEXOS 132 9 APÊNDICES 133 LISTA DE SIGLAS E ABREVIATURAS ANVISA Agência Nacional de Vigilância Sanitária CAE Conselho de Alimentação Escolar CD Conselho Deliberativo CEPAL Comissão Econômica para a América Latina e o Caribe CGPAE CoordenaçãoGeral do Programa de Alimentação Escolar CGU ControladoriaGeral da União COMAC Coordenação de Monitoramento e Acompanhamento COTAN Coordenação Técnica de Alimentação e Nutrição DAP Declaração de Aptidão ao Programa Nacional de Fortalecimento da Agricultura Familiar DIRAE Diretoria de Ações Educacionais EE Entidade Executora FAE Fundação de Assistência ao Estudante FNDE Fundo Nacional de Desenvolvimento da Educação IBGE Instituto Brasileiro de Geografia e Estatística MESA Ministério Extraordinário de Segurança Alimentar e Combate à Fome MPU Ministério Público da União PNAE Programa Nacional de Alimentação Escolar PNAI Programa Nacional de Alimentação Escolar Indígena SAE Sistema de Ações e Assistência Educacional SAMPNAE Sistema de Acompanhamento e Monitoramento do Programa Nacional de Alimentação Escolar SIMPNAE Sistema Informatizado de Monitoramento do Programa Nacional de Alimentação Escolar SFC Secretaria Federal de Controle Interno SIGAE Sistema Integrado de Gestão da Alimentação Escolar SUAPA Subgerência de Acompanhamento e Avaliação do PNAE TCU Tribunal de Contas da União UEx Unidades Executoras UNICEF Fundo das Nações Unidas para a Infância UNIFESP Universidade Federal de São Paulo LISTA DE FIGURAS Figura 01 Estrutura organizacional da CGPAE 54 Figura 02 Número de atividades de orientação aos municípios de acordo como tipo de controle eou fiscalização por órgão de controle 6 67 Figura 03 Distribuição dos participantes 83 LISTA DE QUADROS Quadro 01 Diferenças entre Avaliação e Monitoramento 31 Quadro 02 Contraste entre o Monitoramento e a Produção Estatística 35 Quadro 03 Distribuição de Estados 41 Quadro 04 Quadro de Pessoal CGPAE 55 Quadro 05 Demandas da ControladoriaGeral da União 62 Quadro 06 Período de Permanência in loco no Monitoramento 65 Quadro 07 Tempo de Serviço na Administração Pública 84 9 1 INTRODUÇÃO O Brasil é um país federativo dividido em 26 estados Distrito Federal e 5564 municípios Possui uma área de 85142153 quilômetros quadrados atendendo aproximadamente 47000000 milhões de alunos com alimentação escolar na rede pública da educação básica e de jovens e adultos correspondendo aproximadamente a 25 da população brasileira No sistema federativo e descentralizado configurado com a Constituição de 1988 os municípios foram reconhecidos como entes federativos autônomos com competência para organizar e prestar diferentes tipos de serviços públicos de interesse local diretamente ou sob regime de concessão ou permissão O nível federal passou a transferir para os estados e principalmente para os municípios um conjunto de responsabilidades e prerrogativas na gestão das políticas e programas Durante mais de quarenta anos desde a primeira iniciativa governamental a União foi responsável pelo atendimento da alimentação escolar inicialmente distribuindo alimentos para as escolas provenientes de ajudas de instituições e organismos internacionais que não exigiam infra estrutura para o seu preparo uma vez que consistia basicamente de produtos como a sardinha e o leite em pó Com o desenvolvimento industrial e agrícola do país e ainda com o estímulo governamental as indústrias de alimentos passaram a produzir alimentos enriquecidos de nutrientes necessários ao desenvolvimento das crianças porém esses alimentos não eram agradáveis ao paladar dos escolares provocando o desperdício principalmente pela falta do consumo Com a promulgação da Constituição Federal em 1988 ficou assegurado o atendimento ao educando em todas as etapas da educação básica por meio de programa suplementar de alimentação a ser oferecido pelos Governos Federal distrital estaduais e municipais Assim para realizar essa determinação constitucional a União iniciou o processo de descentralização por meio de convênios 10 O Governo Federal ao final do ano de 1998 editou a Medida Provisória nº 1784 de 14 de dezembro a qual estabeleceu o repasse automático dos recursos federais às Entidades Executoras EE ou seja estados Distrito Federal e municípios haja vista as dificuldades burocráticas que impediram a adesão aos convênios de todos os municípios provocando assim a falta da alimentação nas escolas Com o repasse automático o atendimento se universalizou e os demais entes passaram a ter maior autonomia para administrar o dinheiro dispensandose a formalização de convênios ou quaisquer outros instrumentos similares Essas Entidades Executoras ficaram ainda com a responsabilidade de complementar o recurso financeiro para melhoria do cardápio conforme prevê a Constituição Federal e recentemente a Lei Federal nº11947 de 16 de junho de 2009 A descentralização dos recursos para execução do Programa Nacional de Alimentação Escolar PNAE conduzido pelo Fundo Nacional de Desenvolvimento da Educação FNDE teve como principal objetivo contribuir para o crescimento e o desenvolvimento biopsicossocial a aprendizagem o rendimento escolar e a formação de práticas alimentares saudáveis dos alunos por meio de ações de educação alimentar e nutricionais e da oferta de refeições que cubram as suas necessidades nutricionais durante o período letivo FNDE 2009 A descentralização contribui para o aperfeiçoamento e a consolidação da alimentação escolar no Brasil principalmente ao baixar os custos operacionais possibilitar a aquisição de alimentos mais saudáveis e permitir maior autonomia por parte dos demais entes da Federação no tratamento do tema Como resultados dessas ações liberaramse recursos para outros investimentos na área social com a promoção de hábitos alimentares saudáveis buscando o atendimento diferenciado e o desenvolvimento local COLARES et al 1995 ABREU 1995 SILVA 1996 apud PEDRAZA e ANDRADE 2006 11 Interessante destacar que se por um lado a descentralização dos recursos e a transferência da responsabilidade da execução do Programa para os entes federados permitiram a oferta diária de uma alimentação mais saudável por outro lado exigiram também o acompanhamento e o controle mais efetivo por parte do Governo Federal Este entretanto reduziu sua estrutura administrativa inclusive com extinção de representações federais até então existentes nos Estados dificultando a realização do monitoramento da execução do Programa nas demais esferas administrativas O Programa Nacional de Alimentação Escolar conta com um processo de monitoramento da execução de suas ações que tem se deparado com o desafio de acompanhar e monitorar os 5565 municípios e os 27 estados brasileiros Entidades Executoras do Programa que atendem diariamente cerca de 47 milhões de alunos FNDE 2008 A importância social e o atual estágio de amadurecimento do Programa poderiam ser ainda mais significativos com a aplicação e o fortalecimento de ferramentas de monitoramento e de avaliação das ações compreendidas nessa iniciativa Tal estratégia contribuiria para um processo decisório mais efetivo um aprendizado institucional aperfeiçoado bem como um aumento da transparência pública O trabalho procurou avançar no debate sobre a existência de um padrão de monitoramento em que os dados coletados sirvam de subsídios para alimentar indicadores Nesse âmbito a avaliação aparece como ferramenta vital para a melhoria da gestão de políticas públicas e como tal auxiliará na produção de informações relevantes para o aprimoramento das ações governamentais Em linhas gerais o monitoramento é uma atividade gerencial interna que se realiza durante um período de execução e operação e que busca assegurar que os insumos os produtos e as metas ocorram de acordo com o plano traçado COHEN e FRANCO 2004 ao passo que fiscalizar quer dizer impedir que os atos do Executivo tanto da administração direta quanto da indireta desviemse das finalidades determinadas pelas normas do 12 ordenamento jurídico e o controle se traduz pela fiscalização das atividades contábeis financeiras e orçamentárias públicas demonstrando que as funções administrativas dos Poderes da República estão limitadas pelas normas constitucionais e as delas decorrentes BRASIL 1988 A avaliação apresentase como um dos principais produtos do monitoramento permitindo compreender os resultados qualitativos e quantitativos e a aplicação dos mesmos para vários usos e usuários RUA 2003 motivo pelo qual estão sendo sugeridos procedimentos que permitirão ao longo do tempo avaliar a conformidade a eficácia e tempestividade na execução do Programa no que se refere à conformidade com a legislação Neste contexto emergiram como questões orientadoras desta pesquisa Qual o modelo de monitoramento existente no PNAE Quais os parâmetros utilizados para a confecção dos instrumentos de trabalho no monitoramento Quais os nós críticos para se efetivar o modelo de acompanhamento do Programa Qual a necessidade de qualificação dos atores envolvidos no processo de monitoramento O instrumento utilizado no monitoramento contempla todos os pontos das legislações vigentes Os instrumentos utilizados para a execução do monitoramento são suficientes para avaliar a execução do Programa Assim esse estudo visou tratar das questões acima mencionadas de forma a contribuir para uma análise mais efetiva do modelo de monitoramento que vem sendo utilizado no PNAE e as conseqüências dessa ação para a gestão do Programa como um todo 13 2 OBJETIVOS 21 Geral Analisar o processo de monitoramento desenvolvido no PNAE a partir da ótica dos técnicos formuladores eou realizadores do processo 22 Específicos Apreender as concepções de monitoramento que orientam o trabalho da CoordenaçãoGeral do PNAE e da Coordenação de Auditoria Interna ambas pertencentes ao FNDE Caracterizar o modelo de monitoramento executado pelo PNAE Mapear na ótica da equipe central do Programa os limites e as possibilidades do monitoramento Mapear as necessidades de qualificação dos atores envolvidos no processo de monitoramento 14 3 REFERENCIAL TEÓRICO 31 Avaliação Incursões Teóricas Existem muitas definições sobre avaliação que é um processo essencialmente humano e realizado cotidianamente pelo senso comum Avaliar quer dizer julgar estimar medir classificar analisar criticamente algo ou alguém Tecnicamente esse processo é realizado com procedimentos sistemáticos MINAYO 2005 Programas sociais e educativos tem sua medida de efetividade e eficácia por meio de processos de avaliação No caso do PNAE a avaliação persiste como um desafio e requer atenção dos gestores envolvidos no processo Entre os autores que trabalham o conceito de avaliação temos Pabon 1985 p3 que nos dá uma definição geral genuinamente acadêmica e tradicional de avaliação É a sistemática para medir um fenômeno ou o desempenho de um processo comparar o resultado obtido com os critérios estabelecidos e fazer uma análise crítica considerandose a magnitude da direção da diferença Nesse trabalho a idéia é conhecer o processo de monitoramento do processo do PNAE entendendoo como um instrumento da avaliação Silva 1992 nos aponta que a palavra avaliar deriva de valia que significa valor Assim avaliação corresponde ao ato de determinar o valor de alguma coisa e que o ser humano a todo instante avalia os elementos da realidade que o cerca A avaliação é uma operação mental que integra o seu próprio pensamento as avaliações que faz orientam ou reorientam sua conduta Qualquer que seja a perspectiva pública privada ou estatal avaliar significa estabelecer o valor de alguma coisa exercer o julgamento sobre ações comportamentos atitudes ou realizações humanas não importa se produzidas individualmente em grupo ou institucionalmente Avaliar uma política pública como o PNAE é verificar se objetivos e metas fixados por ele foram alcançados integralmente ou não e senão por que Para isso requer antes de tudo que as metas sejam mensuráveis Metas 15 representam o quanto de um dado objetivo se deseja ou se pensa realizar no horizonte de tempo de duração do plano Por isso precisam ser formuladas em termos de quantidade Por exemplo reduzir a evasão escolar em 5 ao ano ou em 20 durante a vigência do plano Entretanto para que se possa avaliar é necessário levar em conta o valor de algo em relação a alguma aspiração pois não é possível avaliar sem se ter um referencial ou objetivo preciso como nos aponta Pabon 1985 Esse processo ainda encontrase em discussão no PNAE apesar dos diversos avanços realizados nos últimos anos para se estabelecer o referencial preciso que inspiraria a avaliação do programa Dessa maneira se para avaliar é necessário um referencial este deverá especificar normas valores situações desejadas que deverão orientar a escolha de métodos e técnicas que permitirão não só medir o valor mas também o quanto desse valor dessa situação desejada se realizaram A dificuldade de se medir o PNAE ainda se encontra em larga medida na definição de metas específicas ligadas a particular característica do objetivo do programa ser amplo Contudo citando Garcia 1997 devese ter em mente que a mensuração possibilitará apenas um conhecimento parcial limitado pela possibilidade restrita de obtenção de dados e informações quantitativas determinada pela definição de objetivos metas e de recursos de toda natureza envolvidos Como dito anteriormente o ato de avaliar é uma prática frequente no cotidiano de muitas pessoas Decisões pessoais e profissionais são tomadas com base em avaliações espontâneas informais Entretanto nem sempre a avaliação informal é satisfatória principalmente quando se quer um maior grau de objetividade de precisão e de fundamento da avaliação quanto ao julgamento realizado Nesse caso devese recorrer à avaliação em sentido estrito a avaliação sistemática AGUILAR e ANDEREGG 1994 Segundo esses autores a diferença fundamental entre a avaliação informal e a avaliação sistemática não está nos seus propósitos mas sim 16 nos métodos utilizados visto que a avaliação denominada pelos autores de sistemática tratase da pesquisa avaliativa que se baseia no uso do método científico Weiss 1998 aponta que a pesquisa avaliativa iniciase com o foco no uso de suas descobertas uma vez que oferecem subsídios para formuladores e implementadores de políticas programas ou projetos Elas surgem das preocupaçõesindagações da própria política ou dos atores envolvidos Seguindo essa linha de raciocínio o Conselho Científico de Avaliação CONSEIL SCIENTIFIQUE DE LÉVALUATION 1996 afirma que sem renunciar às exigências metodológicas da sua disciplina a avaliação considera pertinentes questões e valores de referência de um dirigente político Esse mesmo órgão também diferencia a avaliação da auditoria enfatizando que a auditoria parte de um ponto de vista de controle e portanto restrito meramente às normas e sistemas internos já a avaliação busca apreciar a intervenção do ponto de vista principalmente externa no que tange aos efeitos eou ao valor A avaliação compara o que é com o que deveria ser buscando sempre detectar falhas e méritos nas ações com vistas a aprimorálas Ou seja envolve julgamento de valor sobre as ações e isso a diferencia dos outros tipos de pesquisa No caso do PNAE a avaliação contribuirá para aperfeiçoamento qualitativo da implementação in loco do programa e da gestão em nível federal Outra diferença que Weiss 1998 aponta é que embora diversos canais de publicação tenham se aberto nos últimos anos a maioria dos estudos avaliativos não são publicados Segundo a autora muitos administradores de programas são refratários à publicação por acreditarem que a informação gerada pela avaliação diz respeito somente a eles e portanto não deve ser de domínio público O conceito de avaliação de programas sociais é um pouco mais restrito e pode ser compreendido como um conjunto de atividades técnico científicas ou técnicooperacionais que buscam atribuir valor de eficiência 17 eficácia e efetividade a processos de intervenção em sua implantação implementação e resultados ROSSI et al 1999 AGUILLAR e ANDEREGG 1994 Nas palavras de Rossi et al a avaliação de programas pode ser definida como a utilização de metodologias de pesquisa social para investigar de forma sistemática a efetividade de programas de intervenção social que foi adaptada ao seu ambiente político e organizacional e planejada para conformar a ação social de maneira que contribua para a melhoria das condições sociais ROSSI et al 1999 A avaliação de programas sociais consiste em uma pesquisa avaliativa ou seja baseiase no uso do método científico e tem como objeto de estudo programas sociais implementados por entes governamentais e não governamentais Para Cano 2002 programas sociais são intervenções sistemáticas planejadas com o objetivo de atingir uma mudança na realidade social Aguilar e AnderEgg 1994 ao definir avaliação de programas sociais incluem os principais traços característicos desse processo Para melhor entendimento dessa definição vale inicialmente partir da compreensão da importância de seus principais componentes como detalham os autores a Processo sistemático consiste no estabelecimento dos procedimentos e estratégia baseados nas exigências do método científico visando ao claro direcionamento dos objetivos e atividades que envolverão a avaliação b Validade e confiabilidade durante o processo de coleta e sistematização dos dados é necessário o cumprimento de determinados requisitos de validade e confiabilidade tendo em vista maior precisão da avaliação Tal preocupação deve estar presente desde o processo de escolha e delineamento da metodologia e das técnicas de coleta de dados c Informações suficientes e relevantes é indispensável o cuidado com as informações colhidas tanto quanto a sua relevância pertinência como sua suficiência tendo em vista a realização de uma valoração ou um julgamento adequadamente fundamentado 18 d Fase do programa a avaliação pode ser desenvolvida em diversas fases do programa diagnóstico programação execução e até mesmo após a conclusão do programa e Tomada de decisão o sentido principal de se realizar uma avaliação consiste no fato de que ela seja útil a uma determinada tomada de decisão seja para a melhoria da ação desenvolvida seja para a melhoria de ações futuras Assim com base nessas considerações Aguilar e AnderEgg apresentam a seguinte definição A avaliação é uma forma de pesquisa social aplicada sistemática planejada e dirigida destinada a identificar obter e proporcionar de maneira válida e confiável dados e informações suficientes e relevantes para apoiar um juízo sobre o mérito e o valor de diferentes componentes de um programa tanto na fase de diagnóstico programação e execução ou de um conjunto de atividades específicas que se realizam foram realizadas ou se realizarão com o propósito de produzir efeitos e resultados concretos comprovando a extensão e o grau em que se deram estas conquistas de tal forma que sirva de base ou para a tomada de decisões racional e inteligente entre cursos de ação ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou fracasso de seus resultados AGUILAR E ANDEREGG 1994 p 31 32 Para Belloni Magalhães e Sousa 2001 p 15 avaliar consiste em um processo sistemático de análise de uma atividade fatos ou coisas que permite compreender de forma contextualizada todas as suas dimensões e implicações com vistas a estimular seu aperfeiçoamento Os autores apresentam uma definição mais precisa ressaltando o processo sistemático e o uso da avaliação para a tomada de decisão mas também destacam a importância da contextualização do programa ou de suas atividades para que a avaliação possa atingir seus objetivos Entretanto ao pretenderem que uma avaliação abranja todas as dimensões e implicações do seu objeto podem gerar uma postura que dificulte a realização de avaliações pois apesar de ser importante considerar as dimensões e implicações relevantes e suficientes para atingir os objetivos da avaliação e não é necessário considerar todas Para o PNAE a contextualização é essencial 19 pois é um programa que se relaciona muito com o desenvolvimento geral das políticas públicas no país Costa e Castanhar apresentam o seguinte conceito de avaliação utilizado pelo Fundo das Nações Unidas para a Infância UNICEF Tratase do exame sistemático e objetivo de um projeto ou programa finalizado ou em curso que contemple o seu desenho implementação e resultados com vistas à determinação de sua eficiência efetividade impacto e sustentabilidade e a relevância de seus objetivos COSTA e CASTANHAR 1998 p 2 Nesse conceito afirmase que a avaliação deve determinar eficiência efetividade impacto e sustentabilidade do programa bem como a relevância de seus objetivos Contudo é importante salientar que tais determinações podem ser realizadas por processos distintos de avaliação ou seja não necessariamente deve haver um processo avaliativo único e abrangente Isso possibilita manter as diversas dimensões dos programas a serem avaliados O PNAE é um programa de múltiplos aspectos que envolvem setores variados para sua operacionalização Conceitos como indicado acima podem contribuir para que essas dimensões do programa não se percam sejam ao contrário enfatizadas e mensuradas De acordo com Garcia 1992 a avaliação tem que ser trabalhada com visão ampla pautada por um julgamento de valor eminentemente qualitativo focalizada sobre processos complexos em que os elementos em interação nem sempre produzem resultados mensuráveis podendo inclusive alguns desses elementos não apresentarem características quantificáveis Machado 1994 ressalta que os julgamentos de valor são sempre mais complexos do que meras operações de medição em consequência a tarefa de avaliar mais do que saberes técnicos exige competência discernimento e o equilíbrio de um magistrado MACHADO 1994 p 38 Assim avaliar não significa apenas medir mas antes julgar a partir de um referencial de valores Daí a importância de definir os valores que devem servir como referência para o PNAE Segundo Werneck 1996 necessário se faz confrontar a situação atual com a ideal o possível afastamento dos objetivos propostos das metas a alcançar para correção dos 20 rumos com economia de esforços de recursos e de tempo com o intuito de atingir os objetivos propostos para tomar a melhor decisão subsequente e agir com máxima oportunidade É imprescindível portanto dispor de clara e precisa visão da finalidade do valor que se busca alcançar com uma determinada ação ou realização para que se estabeleçam critérios aceitáveis com os quais estas serão avaliadas É igualmente imprescindível ter clareza do objetivo da avaliação que ações estarão sendo aferidas pois as decisões que as validarão ou as corrigirão podem se dar em espaços distintos legal técnico administrativo político etc e requererem informações e abordagens também distintas Em resumo verificase que seja do ponto de vista governamental ou da sociedade avaliar é julgar a importância de uma ação em relação a um determinado referencial valorativo explícito e aceito como tal pelos atores que avaliam Assim importante ressaltar que o referencial deve ser aceito conhecido pelos atores que estarão envolvidos no processo com o PNAE O conceito de avaliação segundo Werneck 1996 É sempre mais abrangente do que o de medir porque implica o julgamento do incomensurável Diferentemente de avaliar medir é comparar tendo por base uma escala fixa A medida objetiva pode ajudar ou dificultar o conhecimento da real situação Ajuda se é tomada como um dado entre outros e se for determinado com precisão o que está medindo Caso contrário pode confundir a interpretação por considerarse a parte como todo WERNECK 1996 p 374 e 375 Assim diante do exposto necessário se faz definir construir eleger um conceito de avaliação comum que mais se aproxime do tipo de avaliação que se deseja realizar de modo a permitir que as pessoas envolvidas no processo se posicionem favorável ou contrariamente pois concepções distintas expressam diferenças éticofilosóficas além das de ordem metodológica devendo ser explicitadas para tornar mais transparentes e proveitosas as contribuições para se organizarem sistemas de avaliações com base em um verdadeiro entendimento comum WERNECK 1996 p 30 Barreto 1993 e Penna Firme 1994 em dois artigos trazem inestimáveis contribuições para se pensar processos de avaliação das ações governamentais propondo 21 Avaliação é uma operação na qual é julgado o valor de uma iniciativa organizacional a partir de um quadro referencial ou padrão comparativo previamente definido Pode ser considerada também como a operação de constatar a presença ou a quantidade de um valor desejado nos resultados de uma ação empreendida para obtêlo tendo como base um quadro referencial ou critérios de aceitabilidade pretendidos A definição do quadro referencial e dos elementos constitutivos do processo de avaliação promove uma paciente negociação cooperativa com vistas a obter pelo convencimento racional um entendimento compartilhado dos pontos comuns aceitos por avaliadores e avaliados Desse compartilhamento dependerá em grande parte a legitimidade da avaliação e também a sua validade Esta por sua vez não é um critério geral mas um critério específico para cada avaliação que pode ser válido em uma situação e inválido em outras Barreto 1993 sugere três postulados para a avaliação a A avaliação das ações governamentais é atualmente um valor proclamado pelo governo e uma demanda da sociedade b A avaliação é basicamente um julgamento de valor c A avaliação não se confunde com o ato ou processo de medir atributos de planos e programas mas sim de verificar se eles realizam e em quanto os valores que anunciam explícita ou implicitamente O autor complementa com dois alertas fundamentais aos quais denomina mitos da avaliação O primeiro é o mito da facilidade resultante do desconhecimento da complexidade envolvida no processo fazendo que este seja muitas vezes entregue às equipes ou pessoas de boa vontade mas sem o devido preparo A estes chama de diligentes incompetentes considerandoos extremamente prejudiciais às instituições Barreto afirma que este problema pode ser combatido com a formação de recursos humanos 22 O segundo é o mito da impossibilidade de julgar ações complexas cheias de intencionalidades incognoscíveis por não existirem instrumentos capazes de fazêlo Tal mito se constitui em apenas um mecanismo de defesa daqueles que temem a avaliação seja por acomodação e resistência à mudança por medo de que a avaliação ponha em relevo a mediocridade dos trabalhos institucionais ou pessoais ou pelo desejo de preservar as instituições Para Penna Firme 1994 as verdadeiras avaliações são aquelas que subsidiam decisões que procuram resolver preocupações e problemas dos que conduzem políticas programas ou projetos que examinam e julgam a ação governamental e que se dirigem também ao usuáriobeneficiário concentrandose nos valores e necessidades sociais Para ela as avaliações são úteis quando requerem juízos de valor que melhor orientam o curso das ações Por isso têm que ser ágeis presentes e continuamente iluminar a implementação e os objetivos que podem se defasar sendo necessário criticálos e mudálos Aqueles que fazem a verdadeira avaliação seriam em essência educadores com o sucesso do avaliador sendo medido pelo que aprende do processo de avaliação e pelo que ensina Se não compartilha o que apreende e aprende melhor será que não avalie É na medida em que avaliados e avaliadores dialoguem instituições e sistemas se sintonizem e inteligências múltiplas se complementem que a avaliação irá emergindo com suas características mais notáveis de propulsora das necessárias transformações educacionais e sócias e de advogada dos direitos humanos PENNA FIRME 2003 Atualmente críticas sobre os tipos de avaliação formal vêm permitindo o surgimento de outras tentativas de conceituação mais inovadoras e contemporâneas como a produzida por Silva e Brandão Entendemos avaliação como a elaboração a negociação a aplicação de critérios explícitos de análise em um exercício metodológico cuidadoso e preciso com vistas a conhecer medir determinar e julgar o contexto o mérito o valor ou o estado de um determinado objeto a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e de organizações SILVA e BRANDÃO 2003 p3 23 Pabon 1985 na sua definição dá ênfase á tecnologia do ato de avaliar e os verbos enfatizam a ação de medir comparar dinâmicas de analisar e diferenciar Pela definição de Pabon notase que avaliação é entendida como uma intervenção externa aos objetos e sujeitos avaliados Na interpretação de Silva e Brandão 2003 a importância é dada ao sentido construcionista e de parceria do processo Os autores usam expressões tais como elaboração negociação uso de critérios explícitos processo de aprendizagem desenvolvimento de pessoas e de organizações Penna Firme 2003 defende o mesmo modelo quando diz que é preciso investir em Avaliações sensíveis à responsabilidade situacional metodologicamente flexíveis no entendimento político e substancialmente criativas para integrarem todas essas dimensões na direção do desenvolvimento e do aperfeiçoamento de seu objeto PENNA FIRME 2003 p3 Observase nos textos de Silva e Brandão 2003 e de Penna Firme 2003 que os verbos colocam pessoas e instituições em interação e a metodologia proposta faz parte do próprio conceito Nos de Rossi et al 1999 a importância é dada ao método científico a favor da busca de efetividade dos programas e da institucionalização dos resultados do processo Bem como as delineadas por Aguilar e AnderEgg 1994 e por Contandriopoulos et al 1997 buscando separar o que consideram avaliação normativa e pesquisa avaliativa As definições descritas acima enfatizam os seguintes aspectos da avaliação a ela é uma emissão de juízo de valor sobre determinada intervenção b deve ser incluída no processo de planejamento das ações c tem o papel de subsidiar a gestão e d não visa castigar as pessoas atingidas ou envolvidas nela e sim melhorar o desempenho da atuação Este trabalho segundo Contandriopoulos et al 1997 e Silva e Formigli 1994 considerará a avaliação não um evento isolado e sim um processo em que se integram avaliadores e avaliados em busca do comprometimento e do aperfeiçoamento dos indivíduos grupos programas e 24 instituições dentro das tipologias correntes inserese na modalidade de investigação avaliativa em oposição ao termo avaliação normativa cuja ênfase teórica se coloca nas tecnologias que tratam o evento a ser analisado buscando isolálo de qualquer interferência de contexto É a atividade que consiste em fazer julgamento sobre uma intervenção comparando os recursos empregados e sua organização estrutura os serviços e os bens produzidos processo e os resultados obtidos com critérios e normas CONTANDRIOPOULOS et al 1997 pág 37 Contandriopoulos et al mencionam que a investigação avaliativa comporta outras características pretende analisar a pertinência os fundamentos teóricos a produtividade os efeitos e o rendimento de uma intervenção assim como as relações existentes entre a intervenção e o contexto no qual se situa 1997 p 37 Ou seja tem fundamentos científicos e acrescenta ao processo normativo os elementos de contexto Segundo Minayo 2005 a avaliação tradicional de políticas sociais em regra trabalha com instrumentos quantitativos e analisa as estruturas dos programas como eles se realizam processualmente e quais são seus resultados Ela esclarece que a avaliação das estruturas contém informações sobre recursos físicos humanos materiais formas de organização e funcionamento normas e procedimentos especificação de equipamentos e tecnologias disponíveis o estudo dos processos se dirige às atividades realizadas pelos provedores da intervenção incluindose os componentes técnicos e as relações interpessoais e a análise de resultados se refere aos efeitos e aos produtos que as ações e os procedimentos provocam de acordo com os objetivos da intervenção Considerando a avaliação como um processo e uma construção que envolve os mais diferentes atores Minayo 2005 esclarece que desde a metade dos anos 80 começouse a falar especificamente em avaliação qualitativa quebrandose o modelo quantitativista e positivista predominante Essa abordagem que se baseia nas correntes compreensivistas ainda é pouco desenvolvida e não constitui um corpo teórico completo e validado Surgiu na 25 área da saúde e nutrição e seu método se fundamenta na apropriação de estratégias de abordagem antropológica para aplicálas à avaliação de programas e serviços Para Minayo 2005 avaliação enquanto técnica e estratégia investigativa é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto proposta ou programa Um processo de avaliação de programas e projetos sociais geralmente tem vários sentidos sendo o mais nobre o de fortalecer o movimento de transformação em prol da cidadania e dos direitos humanos Penna Firme 2003 elucida que para que isso ocorra destacamse quatro critérios a a dimensão de utilidade pois jamais se deve empreender uma avaliação inútil b a dimensão da viabilidade do ponto de vista político prático e de custo benefício c a dimensão ética que ressalta o respeito aos valores dos interessados d a dimensão da precisão técnica Do ponto de vista da sua utilidade prática uma boa avaliação irá reduzir incertezas melhorar a efetividade das ações e propiciar a tomada de decisões relevantes guiandose por quatro objetivos a oferecer respostas aos beneficiários à sociedade e ao governo sobre o emprego dos recursos públicos b orientar os investidores sobre os frutos de sua aplicação c responder aos interesses das instituições de seus gestores e de seus técnicos d buscar sempre uma melhor adequação de suas atividades Ao mesmo tempo em que esses objetivos geralmente se somam em projetos sociais cada um deles pode se constituir especificamente como único compondo o foco e o contexto da avaliação CONTANDRIOPOULOS et al 1997 COSTA REIS 2004 POSAVAC E CAREY 2003 Isso é o que se espera em um processo de avaliação de uma política pública Penna Firme lembra que nem toda avaliação é produtiva avaliar pode ser um empreendimento de sucesso mas também de fracasso pode conduzir a resultados significativos ou a respostas sem sentido pode defender ou ameaçar 2003 p1 dependendo de seus propósitos e da seriedade intelectual com que é feita 26 Minayo 2005 aponta que os objetivos a e b acima citados já são conhecidos pois evidenciam a eficiência a eficácia e a efetividade na orientação das propostas de intervenção social no atendimento aos destinatários e nos efeitos multiplicadores que elas possam apresentar portanto com o que se espera de uma avaliação de projetos e programa social pode ser resumido em três pontos a compreender o que contribui para o êxito dos programas projetos e serviços b o que possibilita seu alcance e c o que questiona seus limites Ela assinala que toda avaliação útil ética e tecnicamente adequada acompanha o desenrolar de uma proposta e subsidia a correção de rumos e a reorientação de estratégias de ação Seu sentido ético se alia a seu valor técnico e de responsabilidade social Com relação ao objetivo c a avaliação tem como foco a economia interna da atuação e a criação de uma capacidade técnica adequada e de qualidade Com isso a instituição terá que lidar com fortes componentes subjetivos corporativos e de visão de desenvolvimento Para que se obtenha sucesso nesse objetivo é necessário que ele seja acompanhado pela valorização da avaliação que esta seja entendida como um processo de aprendizagem que pode apoiar pessoas organizações e grupos sociais a fazer escolhas mais consistentes em relação aos rumos de suas iniciativas Gestores e técnicos que entendam a avaliação como parte de seu planejamento e de sua prática cotidiana criam espaços permanentes de reflexão sobre a prática permitindo a desconstrução de idéias alinhamento de conceitos correção de rumos mudança de prioridades abandono de iniciativas infrutíferas e até troca gestores MINAYO 2005 Sob o ponto de vista ético o quarto objetivo mencionado a análise competente de um programa torna mais transparente para a sociedade a aplicação de seus recursos evitando ou denunciando desperdícios MINAYO 2005 Apesar de poucas publicações nos séculos XVII e XVIII o hábito de avaliar programas e projetos sociais com métodos e técnicas científicas tal como conhecemos hoje é relativamente recente na história da humanidade 27 Stufflebeam 2001 salienta que grande parte da expansão e desenvolvimento da teoria e prática da avaliação só se deu na segunda metade do século XX com a necessidade de fortalecer o sistema de defesa americano e com as leis de equidade iniciadas na década de 1960 Weiss 1998 complementa o raciocínio afirmando que no final da década de 70 a avaliação já estava consolidada nas agências federais americanas e grande parte delas possuía unidades administrativas exclusivas para avaliação A avaliação passou portanto nos últimos 60 anos a fazer parte da pauta de investimentos teóricos e práticos ao lado das pesquisas sociais visando à maior eficiência na aplicação de recursos e à efetividade nas ações No Brasil os estudos sobre avaliação apareceram bem mais tarde O processo de institucionalização das tecnologias de avaliação de intervenções sociais no Brasil além de ser recente é ainda muito insipiente devendose tal fato principalmente à cultura autoritária e clientelista que orienta a prática política do país e à descontinuidade administrativa federal estadual e municipal uma vez que uma avaliação movida por juízo de valor partidário sobre a gestão passada é simplista MINAYO 2005 A preocupação de avaliar é algo que cresce significativamente no Brasil à medida que os programas sociais se tornam orientação importante do governo A necessidade da avaliação mais rigorosa das atividades das políticas programas e projetos no Brasil surge com as transformações econômicas da década de 1980 e sobretudo com o debate sobre a crise do Estado que se fortaleceu na década de 1990 A partir dos anos 90 se intensificaram práticas de avaliação na área social no Brasil CARVALHO 2001 COHEN e FRANCO 1993 COSTA REIS 2004 RAPOSO 2003 SILVA e BRANDÃO 2003 Dentre os fatores que contribuíram destacamse a A reforma do Estado que fez diminuir sua presença direta nas áreas sociais e aumentar seu papel de formulador de políticas e repassador de recursos para o terceiro setor 28 b A focalização da ação governamental em determinadas atividades exigindo análise de eficácia dos investimentos c A entrada de organizações nãogovernamentais e da iniciativa privada na prestação de inúmeros serviços de interesse público em relação aos quais há uma concorrência por recursos e tanto as empresas como os governos cobram resultados d As exigências dos órgãos internacionais que financiam projetos sociais e A ampliação e o aprofundamento dos mecanismos de controle social colocando os recursos públicos sob vigilância da sociedade civil gerando pressão dos meios de comunicação e da opinião pública Devese também levar em conta o aumento da capacidade teórico metodológica técnica e crítica dos intelectuais e pesquisadores para uma mais ativa colaboração tanto com os governos como com o terceiro setor No contexto das discussões sobre como tornar o Estado brasileiro mais democrático e transparente por um lado e mais eficiente eficaz e efetivo nos aspectos administrativo e político por outro o crescimento da função da avaliação nos anos 1990 visou minimizar o grau de incerteza sobre os resultados das implementações das políticas públicas aumentando sua efetividade bem como contribuiu para viabilizar as atividades de controle interno e social possibilitando o accountability das ações de Governo Falar sobre avaliação de programas sociais demonstrar para o gestor a sua importância não parece ser tarefa difícil Tomar conhecimento do impacto de intervenções sociais parece algo lógico e necessário diante dos esforços e recursos empreendidos para se mudar uma realidade social em que muitas vezes pouco se conhece sobre as efetivas mudanças ocasionadas Contudo quando se trata de operacionalizar uma avaliação surgem dúvidas receios insegurança curiosidade principalmente naqueles que 29 desconhecem esse instrumento na prática Podese dizer que se gera um impacto no gestor Entendese portanto que esse impacto é causado pelo escasso referencial teórico disponível em Língua Portuguesa a incipiente prática de avaliação no Brasil pelo mito da avaliação como um instrumento meramente fiscalizador e ainda pela complexidade inerente ao processo avaliativo Os avanços recentes da avaliação como uma área de conhecimento específica evidenciam importantes mudanças na postura dos profissionais tentando integrar avaliados e avaliadores com o intuito refinar conceitos e técnicas colaborando para o melhoramento do processo de análise tornando a avaliação muito mais promocional que classificatória Serve para consolidar entendimentos e parcerias apoiar mudanças sucessivas corrigir rumos ampliar o comprometimento dos diferentes atores e promover o aperfeiçoamento dos indivíduos grupos instituições e sistemas lembra Penna Firme 2003 32 Monitoramento Condição para Avaliação No PNAE percebese uma necessidade constante de monitoramento da implementação do programa especialmente pela sua característica de descentralização que facilitou a execução mas também resultou em novos desafios Assim o monitoramento aparece como aspecto essencial para que se atinja uma avaliação efetiva e eficaz Entendendose Avaliação como referenciada por Minayo 2005 Penna Firme 2003 e outros autores vêse a necessidade de integração da avaliação ao processo de gestão com a condição diária de um conjunto articulado e integrado de ações voltadas a objetivos definidos Esse conjunto prevê a tomada de decisões operacionais em meio a restrições impostas por circunstâncias que o gestor não escolhe nem controla De maneira complementar aos processos de avaliação a idéia de monitoramento de projetos sociais ganha destaque De acordo com o Manual de Formulação e Avaliação de Projetos Sociais da Comissão Econômica para a 30 América Latina e o Caribe CEPAL o monitoramento se relaciona diretamente com a gestão administrativa e consiste num exame contínuo ou periódico durante a etapa de operação do projeto COHEN e MARTÍNEZ 2006 p 7 Ainda de acordo com o manual o monitoramento é a atividade de observação de cumprimento de prazos de provisão de insumos e de cumprimento das programações Definição semelhante de monitoramento é empregada por Manuel Buvinich Monitoramento envolve a coleta de informação sobre insumos produtos atividades e circunstâncias que são críticas e relevantes para a efetiva implementação do programa ou projeto Através dessa informação o monitoramento analisa e verifica num processo contínuo se os recursos e as atividades se estão implementando segundo o programado e se as metas sobre resultados estão sendo alcançadas ou não indicando ao mesmo tempo as razões de sucesso e insucesso Em outras palavras o monitoramento fornece a informação e as sugestões necessárias para que a gerência do programa verifique o progresso da implementação a fim de tomar as decisões cabíveis no sentido de que as metas programadas sejam alcançadas eou ajustadas BUVINICH 1999 p 20 Para Matus 1994 monitoramento é um processo sistêmico e contínuo que gerando informações sintéticas e em tempo real permite a rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas O monitoramento da gestão pública responde ao seguinte princípio elementar não se pode conduzir com eficácia se o dirigente não conhece de maneira contínua e a mais objetiva possível os sinais vitais do processo que lidera e da situação na qual intervém Um sistema de informações casuístico parcial assistemático atrasado inseguro disperso e sobrecarregado de dados primários irrelevantes é um aparato sensorial defeituoso que limita severamente a capacidade de uma organização para sintonizarse com os processos concretos identificar os problemas atuais e potenciais avaliar os resultados da ação e corrigir oportunamente os desvios com respeito aos objetivos traçados MATUS 1994 p 2 As atividades de monitoramento são desenvolvidas durante a execução do programa e para realizálas é necessário conhecer o programa na sua integralidade pois isso permite verificar o seu andamento com relação aos objetivos e metas viabilizando se necessário redirecionar ou redesenhar algumas ações que se comportaram de forma não prevista 31 O monitoramento é um processo contínuo que retroalimenta o ciclo de ajustes de uma política De forma resumida o monitoramento é um processo sistemático e contínuo que produzindo informações sintéticas e em tempo eficaz permite rápida avaliação situacional e a intervenção oportuna que corrige ou confirma as ações monitoradas GARCIA 2001 p 32 Atualmente o monitoramento no PNAE segue uma função orientativa de caráter dialógico no sentido em que os atores envolvidos sejam orientados quanto ao saneamento das irregularidades eou impropriedades na execução do programa A Universidade Humboldt de Berlim 2000 assinala algumas características do monitoramento que neste estudo merecem relevância visa otimizar a realização dos objetivos do projeto e evitar efeitos negativos facilita obter os conhecimentos que estão sendo aproveitados para redefinição e a adequação do projeto observa elementos específicos e definidos isto quer dizer que não trabalha com todos os aspectos do projeto é realizado sistematicamente com um objetivo definido usa como instrumento de medição indicadores que são qualitativos eou quantitativos Os indicadores quantitativos podem ser interpretados de maneira qualitativa basicamente é feito por pessoas internas ao projeto UNIVERSIDADE HUMBOLDT DE BERLIM 2000 p 26 Buvinich 1999 esquematiza no Quadro 01 as diferenças entre avaliação e monitoramento Quadro 01 Diferenças entre Avaliação e Monitoramento Dimensão Monitoramento Avaliação Frequência Regular Episódico Ação Principal Acompanhamento vigilância Apreciação julgamento Propósito Principal Melhorar eficiência ajustar plano de trabalho Melhorar efetividade impacto e programação futura Foco Insumos produtos processos efeitos plano de Trabalho Efetividade relevância impacto custoefetividade 32 Fontes de Informação Sistemas regulares sítios sentinelas observação relatórios progresso apreciações As mesmas mais estudos e pesquisas científicas Realizadas por Gerentes e coordenadores de programas comunidade beneficiários supervisores financiadores Gerentes e coordenadores de programas comunidade beneficiários supervisores financiadores avaliadores externos Informa a Gerentes e coordenadores de programas técnicos e comunidade beneficiários supervisores financiadores Gerentes e coordenadores de programas técnicos e comunidade beneficiários supervisores financiadores tomadores de decisão Fonte Tabela original retirada de Buvinich 1999 p 26 Podemse observar diferenças marcantes entre os procedimentos de monitoramento e avaliação Avaliação no entanto se aproxima do monitoramento na medida em que deveria se utilizar de dados levantados durante o monitoramento para compor a sua análise Hoje no PNAE o que se observa é que o monitoramento e avaliação não se complementam A avaliação para ser realizada precisa de uma série de fontes de dados que podem ser levantados pelo monitoramento Uma boa avaliação depende de um bom monitoramento Outra aproximação que pode ser feita entre monitoramento e avaliação diz respeito ao processo de aprendizagem que deve ser inerente à avaliação O resultado da avaliação deve servir como referência para que os envolvidos no processo se orientem tomem decisões e modifiquem suas posturas Como apontam Borba et al 2009 o papel da avaliação precisa transcender a avaliação ou controle abrangendo uma intensa reflexão que deve ser feita com todos os envolvidos no processo Cabe ao monitoramento o levantamento de informações que leve ao aprendizado suscitado pela avaliação Quem não acompanha os problemas que devem resolver e o resultado das ações com as quais pretende enfrentálos não sabe por onde anda não sabe o que acontece por conta do seu agir e nem que alterações provocaram com a sua ação Para monitorar é necessário conhecer o 33 problema demarcálo e medilo com rigor conhecer suas principais determinações e desenhar ações específicas com o poder de eliminar ou minimizar as causas fundamentais que o geram Então ao se por em prática ações estas devem ser acompanhadas de indicadores pertinentes adequados úteis para quem responde pela execução das ações e portanto passíveis de ser analisados e avaliados para poder informar ao gestor que tem o dever de coordenar as ações e o poder de corrigilas caso seja necessário Esse é um aspecto essencial para se observar no processo de monitoramento do PNAE Entretanto para que essas ações sejam passíveis de monitoramento e posteriormente avaliadas de forma consequente e oportuna fazse necessário ter problemas bem definidos e ações bem desenhadas e programadas ambos identificados por precisos e detalhados indicadores Caso contrário o gestor terá apenas tentativas de acompanhamento e avaliações superficiais sob a forma de relatórios não voltados para a tomada de decisão produzidos com enormes intervalos de tempo desfocados dos processos reais exigentes de sua atenção e intervenção Assim o monitoramento passa a ser um requisito imprescindível para o exercício da avaliação O gestor que monitora também contribui para a avaliação que servirá para confirmar ou corrigir o trajeto das ações sob sua responsabilidade com o intuito de atingir mais facilmente as metas traçadas 33 Indicadores Como Medir Resultados O monitoramento requer a produção sistemática e automatizada de informações relevantes precisas e sintéticas Informações são oportunas para se avaliar cada ação do processo com as particularidades que lhes são próprias Entretanto essas informações existirão apenas quando a ação tiver sido desenhada e programada de forma a permitir que se cumpra a exigência de produzir informações apropriadas e a um ritmo adequado à tomada de decisões No PNAE a coleta dessas informações de forma sistematizada é 34 ainda um desafio A definição de indicadores para o monitoramento facilitará processos futuros de avaliação do programa Segundo Garcia 2001 isso se consegue criando condições favoráveis técnicas e informacionais para se estabelecer a obrigatoriedade do registro das informações necessárias que compõem o sistema de monitoramento Informações que em larga medida serão elaboradas no processo de produção de ações Quadro 02 Contraste entre o Monitoramento e a Produção Estatística Característica Sistema Estatístico Sistema de Monitoramento 1 Usuário INDEFINIDO O usuário é indefinido muito variado e até mesmo potencial pois se trata de gerar informações úteis para interesses muito diferentes e para propósitos atuais ou futuros BEM DEFINIDO No monitoramento o usuário é um ator concreto atual muito bem definido que necessita de informações para orientar a ação cotidiana para conhecer seus resultados e comparálos com o planejado 2 Massa de Informação DIVERSIFICADA A informação estatística é sempre extensiva e diversificada para atender uma grande variedade de usuários potenciais com interesses muito variados ULTRASELETIVA Os sistemas de monitoramento são projetados para atender um usuário concreto responsável por um planoprogramaprojeto específico A informação necessária é ultraseletiva 3 Atraso ACEITÁVEL ALTO O atraso permitido é bastante grande pois a informação estatística não está comprometida no feed back de um processo em andamento INFORMAÇÃO EM TEMPO EFICAZ O monitoramento tem que atuar em tempo eficaz e no limite em tempo real pois é usado para corrigir com oportunidade ações em andamento Informação fora do prazo eficaz desinforma 4 Perecibilidade NÃO PERECÍVEL Não tendo demanda peremptória a informação estatística não é PERECÍVEL O monitoramento serve como feed back para a ação produzindo informações 35 perecível Seu valor é mais histórico não sofrendo deterioração com o tempo Sua função é mais a de registrar o que passou e não alimentar de imediato o que vem a seguir perecíveis Se chegarem fora do tempo terão valor igual ao de um jornal velho 5 Produção e Uso Produção CENTRALIZADA E USO GENERALIZADO A informação estatística tende a ser produzida de forma muito centralizada mediante um fluxo vertical de produção Em compensação seu uso é generalizado em todos os níveis PRODUÇÃO DESCENTRALIZADA E USO ESPECÍFICO O monitoramento é totalmente descentralizado produzindo informações que permitam corrigir oportunamente ações no nível em que ocorrem Seu uso é muito particular para as necessidades do usuário 6 Tipo de Informação PRIMÁRIA A informação estatística é basicamente primária não processada para poder atender demandas muito variadas de tratamento por parte de usuários muito diversificados INDICADORES E SINAIS O monitoramento opera com indicadores e sinais significativos para um usuário específico Resultam de um processamento complexo das informações básicas e é dirigido para atender necessidades decisórias referentes aos planos programas conduzidos pelo usuário Fonte Tabela original retirada de MATUS 1996 p 3 Garcia 2001 ressalta que os sistemas de informações tradicionais baseados em estatísticas e em registros descontínuos e inorgânicos muitas vezes quase aleatórios tentam oferecer muita informação não pertinente e não processada Desse modo há um acúmulo de informações na organização que permite a tomada de decisões com rapidez e maior segurança em último termo acabam por desinformar ao dirigente Muitas antenas anulam a capacidade e nitidez de recepção da informação que importa Se confunde a enorme massa de informação gerada na base que constitui a matériaprima informativa que deve ser processada pelo monitoramento com o número reduzido de informações relevantes que mediante filtros inteligentes geram os 36 sinais que devem guiar o processo de direção O sistema de monitoramento deve ser capaz de manejar em forma ágil e flexível uma grande massa de informação sobre a gestão de uma organização pública reduzindo esta grande massa que desinforma por sobrecarga de dados a um grupo reduzido de sinais e informação filtrada e inteligente MATUS 1994 p 14 O quadro 02 mostra com precisão e síntese as principais diferenças entre os sistemas de estatística e de monitoramento Garcia 2000 nos diz que assim como um alto dirigente responde pelo conjunto do plano um gerente é o responsável pelo enfrentamento global do problema que o programa busca resolver Isso significa que a ele cabe coordenar o conjunto de ações concebidas como necessárias e suficientes para que sejam implementadas de forma convergente na sequência temporal apropriada com a intensidade adequada atingindo as causas críticas do problema Da mesma forma o alto dirigente precisa saber no seu nível do andamento global do plano para poder conduzilo com propriedade tomando as decisões corretas no tempo certo Para assim procederem é imprescindível que estejam ambos permanentemente aptos a tomarem as decisões necessárias com segurança e oportunidade Isso se concretiza com contínuas avaliações de desempenho GARCIA 2000 p 17 Mas como conseguir isso Ele nos aponta uma resposta simples É necessário que o gestor esteja informado sobre tudo que é importante para poder avaliar e agir As informações de base menor unidade operativa de cada ação devem estar sendo registradas e agrupadas para conformar um conjunto significativo agregadas para compor tarefas e posteriormente ações relacionadas para construir os indicadores analisadas e avaliadas Deve também o gestor estar informado sobre o contexto no qual se desenvolvem as ações restrições imprevistos surpresas oportunidades pois a informação ou indicador somente ganha sentido e se torna inteligível quando dentro do contexto no qual se realizou Além disso é fundamental dispor de informações em tempo oportuno para poder agir com eficácia e é bom lembrar que elas acontecem em ritmos de tempo diferentes exigindo decisões em tempos também distintos 37 Mas o que vem a ser um indicador e como ele integra a um sistema de monitoramento Garcia 2001 apresenta um exemplo simples para auxiliar o entendimento Em uma viagem rodoviária partese de um ponto no espaço com o objetivo de chegar a outro Quem dirige o veículo precisa estar permanentemente informado sobre aspectos cruciais do veículo quantidade de combustível consumo médio velocidade temperatura nível do óleo etc da estrada distância percorrida existência de buracos áreas de escape curvas declives posição em que se encontra postos de serviços referências importantes etc do tráfego mais ou menos intenso velocidade média do trânsito possibilidades de ultrapassagem tipos de veículos predominantes etc do clima chuva neblina calor frio etc São informações obtidas visualmente por meios diretos ou indiretos sensores do painel do veículo marcos e avisos na estrada mapas entre outros Essas informações indicam se o caminho certo está sendo percorrido e permitem avaliações contínuas que orientam o comportamento e as decisões do condutor com vistas a conseguir o melhor desempenho em condições mais seguras O motorista dirige o carro porque o conhece e o faz funcionar mediante comandos precisos e oportunos Ele o conduz rumo a um destino porque conhece o caminho e obtém informações confiáveis em tempo eficaz sobre todos os aspectos relevantes do carro das estradas do trânsito do clima Se assim não for não alcança seu objetivo GARCIA 2001 p36 Conduzir um plano de governo dirigir uma instituição pública gerenciar um programa exige conhecer a evolução da situação problemática enfrentada e avaliar os resultados das ações desenvolvidas para modificálo a tempo É algo muito mais complexo que realizar uma simples viagem rodoviária uma vez que as possibilidades de monitoramento visual direto são muito limitadas requerendo o monitoramento indireto com a utilização adequada de indicadores apropriados ao processo de direção Os indicadores apontam os movimentos significativos de todas as variáveis técnicas e politicamente relevantes para a condução estratégica de um plano programa projeto ou instituição Ele deve mostrar movimentos que precisamos conhecer mas que não podemos observar diretamente sendo obtidos pelo processamento de informações relativas aos aspectos importantes dos processos que compõem a realidade problemática e às ações com que se busca mudála O monitoramento é a ferramenta pela qual o gestor poderá medir a eficiência a eficácia de seu programa ou projeto Assim para quem se possa 38 monitorar é imprescindível que como dito anteriormente o problema esteja bem definido as ações bem desenhadas e programadas com por indicadores claros e objetivos possíveis de serem trabalhados Não há como monitorar o que não for medido portanto os indicadores são instrumentos fundamentais para tornar possível uma ação efetiva de monitoramento O monitoramento geralmente utiliza dados internos e busca analisar o cumprimento dos objetivos e metas previstos Faria define bem essa atividade Tratase de avaliar a eficiência É o fazer certo as coisas posto que as atividades de monitoramento permitem intervir no processo de execução corrigindo os rumos cada vez que os desvios são detectados E acrescenta corrigir rumos nas atividades de monitoramento não quer dizer apenas intervir sobre os conteúdos de um programa mas significa ou pode significar modificar cenários jurídicoadministrativos financeiros organizacional bem como requalificar os recursos humanos a cargo dos trabalhos FARIA 1999 p 4445 34 O Monitoramento do PNAE 341 Histórico do PNAE O PNAE historicamente teve como principal atividade financiar a aquisição dos gêneros alimentícios para a alimentação escolar que se destinava aos alunos matriculados na creche préescola e ensino fundamental das escolas públicas e escolas filantrópicas Mais recentemente a partir de 2009 passou a contribuir também para o financiamento da alimentação dos alunos matriculados no ensino médio Educação de Jovens e Adultos e escolas comunitárias Ao longo de quase quarenta anos o Governo Federal ficou responsável pela compra e distribuição dos gêneros alimentícios para todas as escolas do País seguindo o modelo de gestão centralizada existente de acordo com o regime político instituído à época Com a abertura política advinda com a promulgação da Constituição Federal em 1988 os Estados os Municípios e o Distrito Federal passaram a 39 ter maior autonomia de gestão e apesar de o modelo centralizado de execução dos programas federais representarem um alto custo aos cofres da União o PNAE permaneceu nessa condição por mais cinco anos Com a reforma do Estado ocorrida nos anos 90 iniciouse o processo de descentralização dos recursos federais destinados à execução do PNAE que almejava desburocratizar as ações do Governo Federal e reduzir o tamanho da máquina administrativa com o propósito de baixar os custos operacionais e obter recursos para investimentos necessários para o desenvolvimento de seus programas e projetos principalmente os relacionados à área social como saúde e educação e ainda com intuito de disponibilizar maior autonomia aos demais entes da Federação Com a descentralização iniciada em 1993 regulamentada no ano seguinte por meio da Lei nº 8913 de 12 de julho de 1994 os recursos financeiros eram transferidos aos entes da Federação por meio da celebração de convênios entre esses entes e o órgão gerenciador no âmbito federal à época a Fundação de Assistência ao Estudante FAE Apesar de esse novo modelo permitir maior liberdade de ação por parte dos gestores locais ele não atendia satisfatoriamente aos beneficiários diretos alunos uma vez que grande parte dos municípios não conseguia atender às exigências legais para que pudessem celebrar os convênios necessários para estarem apto a receber os recursos financeiros acarretando a falta de alimentação nas escolas RODRIGUES 2005 Para solucionar esse problema o Governo Federal ao final do ano de 1998 editou a Medida Provisória nº 1784 de 14 de janeiro a qual estabeleceu o repasse automático dos recursos financeiros federais aos Estados Distrito Federal e Municípios dispensandose assim a formalização de convênios ou quaisquer outros instrumentos similares depositandoos em contas bancárias específicas abertas pelo Fundo Nacional de Desenvolvimento da Educação autarquia federal vinculada ao Ministério da Educação e atual gerenciador do PNAE RODRIGUES 2005 40 342 Histórico do Monitoramento do PNAE até 2002 A Medida Provisória nº 1784 de 141298 dispôs sobre a descentralização dos recursos para a execução do PNAE Desde esse período a Subgerência de Acompanhamento e Avaliação do PNAE SUAPA tinha entre suas competências conforme dispunha o artigo 47 do Regimento Interno Portaria CDFNDE nº 1627 de 031199 vigente à época a atribuição de verificar a execução do PNAE nas Entidades Executoras EE Entretanto toda a equipe lotada na SUAPA trabalhava no cadastramento dos Conselhos de Alimentação Escolar CAE uma vez que a obrigatoriedade da instituição desses conselhos era condição para a EE recebesse automaticamente a transferência dos recursos financeiros do orçamento do FNDE para execução do PNAE em caráter complementar aos aportados pelas Entidades Executoras sem necessidade de convênio ajuste acordo contrato ou instrumento congênere A existência dos Conselhos de Alimentação Escolar foi uma inovação da legislação que também trazia como obrigatório seu cadastramento como condição para que a EE recebesse o recurso financeiro federal Assim sendo toda a equipe do Programa foi voltada para essa ação a fim de que não houvesse a interrupção na transferência dos recursos financeiros uma vez que o sistema existente era muito precário e a subgerência possuía poucos servidores lotados na sua área os quais deveriam cadastrar na época 5560 conselhos municipais e 27 conselhos estaduais tendo o cuidado para que toda documentação encaminhada atendesse a legislação vigente 41 Para melhor ordenamento dos trabalhos os estados foram distribuídos pelos técnicos que passaram a ser responsáveis pelo acompanhamento do correspondente cadastro conforme demonstrado no quadro à seguir Quadro 03 Distribuição de Estados A análise da documentação apresentada somente era cadastrada se atendesse às disposições da legislação Assim caso houvesse impropriedades eram geradas diligências que eram encaminhadas por meio de ofício às correspondentes Entidades para que fossem providenciadas as devidas correções Nesse período muitos Conselhos tiveram seus mandatos terminados e para que os dados fossem atualizados foram emitidos desde o início do ano ofícios com recomendações e instruções para que ocorresse a nomeação dos membros que iram atuar no novo biênio Técnico responsável Unidades Federadas Entidades Relacionadas Total de Entidades I RO CE 52 184 236 II MS RJ RN SE 77 92 167 75 411 III AL MT 102 139 241 IV SC PB RR e SEDUCs 293 223 15 27 558 V MA ES 217 78 295 VI AC AM RS 22 62 497 581 VII BA 417 417 VIII PA 143 143 IX MG 853 853 X GO 246 246 XI TO 139 139 XII PR PE 399 184 583 XIII SP 645 645 Total 5348 42 Somente no início de 2001 a Subgerência da SUAPA em parceria com a CoordenaçãoGeral iniciou o atendimento de demandas geradas pela ControladoriaGeral da União CGU e Ministério Público da União MPU que se encontravam reprimidas desde 1999 dentre essas demandas constavam nos relatórios da CGU a exigência de que o FNDE enquanto autarquia responsável pela assistência financeira acompanhamento fiscalização entre outras atribuições realizasse um acompanhamento mais próximo das EE ou seja verificasse in loco como estava sendo executado PNAE Os técnicos lotados na SUAPA iniciaram os acompanhamentos sem nenhuma preparação sem saber qual o direcionamento deveria ser dado às informações contidas nos relatórios oriundos dos acompanhamentos Assim no segundo semestre de 2001 iniciaramse os primeiros acompanhamentos Foram poucos mas ocorreram Ao final do exercício foi realizado um trabalho básico de consolidação das respostas obtidas por meio dos questionários elaborados na época Essa compilação gerou uma pequena avaliação do Programa a qual foi inclusive apresentada à CGU como uma avaliação de efetividade da CoordenaçãoGeral Esta avaliação apresentava informações como a quantas EE possuem nutricionista b quais tipos de gêneros alimentícios eram adquiridos c EE que apresentaram prestação de contas d EE que possuíam CAE entre outras Com o repasse automático os estados Municípios e Distrito Federal ficaram ainda com a responsabilidade de complementar o recurso financeiro para melhor executar o Programa conforme prevê a Constituição Federal e a Lei Federal nº 11947 de 16 de junho de 2009 Levandose em conta a dificuldade de controle dessa execução descentralizada foi delegada ao Conselho de Alimentação Escolar a responsabilidade de acompanhar e fiscalizar a aplicação dos recursos federais repassados para a execução do PNAE bem como de analisar e emitir parecer conclusivo sobre a prestação de contas referentes à utilização dos recursos financeiros federais recebidos e à qualidade da execução do Programa que deve ser apresentada anualmente pelos Estados Distrito Federal e Municípios 43 ao FNDE BRASIL 2001 Medida provisória n 217836 de 240801 Essa descentralização ocorreu no momento em que as representações federais de Educação nos Estados e Municípios foram desativadas e houve a necessidade de se acompanhar e fiscalizar a boa e correta aplicação dos recursos repassados por iniciativa da União Com base nessas mudanças a Administração do FNDE com o auxílio de uma consultoria especializada ao longo de ano de 2000 iniciou o planejamento de um sistema de informação estruturado na forma de software cujo propósito inicial era servir de ferramenta de trabalho e ser disponibilizado aos Conselhos que se assim o desejassem o utilizariam para auxiliálos no exercício de suas atribuições de acompanhar e monitorar a execução do Programa Esse auxílio aconteceria desde o momento em que os recursos financeiros federais fossem depositados na conta bancária da Entidade Executora até a oferta da alimentação escolar aos alunos Entretanto com a necessidade de oferecer respostas quanto à avaliação de desempenho do Programa aos órgãos de controle interno e externo do Governo Federal o sistema passou a incorporar a função de avaliação sem contudo ter sofrido as devidas adaptações no âmbito do FNDE RODRIGUES 2005 Esse sistema recebeu o nome de Sistema de Acompanhamento e Monitoramento do Programa Nacional de Alimentação Escolar SAMPNAE o qual depois de concluído foi distribuído para Conselhos de Alimentação Escolar de cerca de 700 municípios durante o ano de 2002 para serem implementados como projeto piloto ainda neste exercício e para os anos posteriores a utilização do SAMPNAE seria obrigatória O período anterior ao estabelecimento do SAMPNAE será tratado mais adiante A sua implementação consistia em alimentar o sistema com uma vasta quantidade de informações as quais ficariam a cargo do CAE obter junto à respectiva Entidade Executora da qual pertencesse para posteriormente serem repassadas ao FNDE e demais órgãos de controle da União por meio de relatórios mensais quando solicitados 44 O Sistema foi elaborado em 2000 e sua construção se deu no ano de 2001 pela equipe técnica de informática do FNDE em sua fábrica de software Os formulários depois transformados em módulos informatizados foram apresentados aos Conselhos de Alimentação Escolar durante um processo de capacitação de conselheiros durante o ano de 2001 o qual ocorreu em diversas cidades do País estando presentes conselheiros de cerca de 550 municípios brasileiros das cinco regiões do Brasil Muitas manifestações contrárias ao uso do sistema apareceram durante a capacitação devido às dificuldades existentes para que o CAE o utilizasse como disponibilidade de tempo falta de equipamento de informática falta de acesso às informações exigidas para a alimentação dos dados etc porém ainda assim a construção do sistema foi concretizada RODRIGUES 2005 Em 2002 o software ficou pronto e novas capacitações foram realizadas nos mesmos moldes da anterior tendo como participantes os mesmos conselheiros selecionados em 2001 capacitados para a implementação e uso do sistema momento em que a cópia do SAMPNAE foi disponibilizada em meio magnético um conjunto de três disquetes a cada um dos conselheiros para serem instalados em seus respectivos municípios A distribuição ficou condicionada ao treinamento com os conselheiros se responsabilizando em reproduzir a capacitação aos conselheiros de seus municípios circunvizinhos para que assim estivessem também aptos a receber a cópia do sistema RODRIGUES 2005 O sistema foi construído na base Acces podendo ser instalado em equipamentos de informática com a especificidade mínima de um PC 386 ou equivalente RODRIGUES 2005 Rodrigues 2005 relata que o SAMPNAE descreve que o software foi construído no sistema modular como grande parte dos sistemas de informação possuindo dois módulos um destinado exclusivamente ao CAE e outro para as escolas O módulo A CAE abrangia o módulo ESCOLA e outros 45 módulos específicos tabelas de apoio relatórios ferramentas de aplicação e um ícone de ajuda os quais foram identificados pela sigla do sistema e um número organizado ordinariamente da seguinte forma A1 CADASTRO que apresentava um conjunto de formulários organizados separadamente e que permitiam o cadastramento dos dados referentes aos Conselhos endereço completo nome e dados pessoais dos conselheiros ato de constituição do CAE e da nomeação dos conselheiros aos fornecedores aos nutricionistas aos cardápios aos responsáveis pela preparação da merenda merendeiras que correspondiam aos formulários SAM 1 ao SAM 4 e SAM 21 respectivamente e ainda havia um módulo específico denominado USUÁRIO referente ao cadastramento dos usuários feito pelo usuário gestor para que pudessem também acessar o sistema A2 CAE que representava o conjunto de formulários interligados aos do campo CADASTRO e que possibilitava o acompanhamento de parte da execução do PNAE tais como planejamento mensal de cardápios aquisição de gêneros distribuição de gêneros ou repasse de recursos para as escolas quando fosse o caso e ainda do acompanhamento das condições de armazenamento tanto no depósito central do município quanto nos depósitos das escolas SAM 4A a SAM 9 A3 ESCOLA que possibilitava receber as informações fornecidas pelas escolas referente ao acompanhamento da execução e do controle de qualidade no tocante à infraestrutura existente na escola à quantidade de utensílios disponíveis à armazenagem dentre outros relacionados com a preparação e oferta da refeição aos alunos e caso de o município optasse pela gestão escolarizada era possível também acompanhar esse repasse mensalmente Esses módulos correspondiam aos formulários SAM22 a SAM 25 A4 TABELAS eram tabelas de apoio cujas informações eram requisitos para a utilização do sistema uma vez que serviam de base para os campos de cada módulo Havia três tipos de tabelas as que são acessíveis ao usuário somente para consulta Unidade de Medida Água Armazenagem Categoria 46 Cozinha Dias letivos Equipamentos Local de distribuição Local de preparo Meio de divulgação Modalidade de aquisição Origem do recurso Periodicidade Pessoal e Utensílio a que permitia inclusão de novos dados sem portanto excluir as informações já existentes tabela de gêneros e a que não estava acessível ao usuário relativa ao número de alunos do censo escolar do ano anterior que necessariamente deveria ser atualizado a cada ano Essa tabela servia de apoio para os relatórios gerenciais como parâmetro para o campo número de alunos que consumiram a merenda em especial para gerar os relatórios relativos à quantidade de alunos atendidos e de adesão à alimentação escolar ou seja quantidade de alunos que aceitavam a refeição oferecida A5 FERRAMENTAS módulo importante pois possuía uma ferramenta que possibilitava importar para o sistema as informações fornecidas pelas escolas que eram recebidas por meio magnético No módulo B ESCOLA Rodrigues 2005 relata que este era de uso exclusivo das escolas cuja finalidade era fornecer dados que seriam importados posteriormente por meio magnético ao módulo A CAE a fim de conferir se as informações relacionadas à distribuição dos gêneros em caso da gestão centralizada ou dos recursos em caso da gestão escolarizada formulário SAM22 correspondiam aos dados contidos nos formulários SAM 7 e SAM5 do módulo A CAE respectivamente e controlar nos casos em que a gestão é escolarizada o que se comprava de quem comprava e de que forma ou modalidade conforme prevê a Lei n 866693 e suas alterações o SAM23 Além disso esse módulo permitia controlar por meio dos formulários SAM24 e SAM25 se os cardápios planejados e cadastrados no módulo CARDÁPIO estavam sendo cumpridos quantos alunos consumiam a alimentação escolar diariamente e em cada turno de funcionamento na escola e monitorava as condições em que os alimentos eram armazenados preparados e servidos Controlava ainda a periodicidade de visitas que o CAE e os responsáveis pela alimentação escolar na Entidade Executora realizavam mensalmente 47 O sistema ainda disponibilizava relatórios gerenciais mensais e dos custos per capita da refeição que podiam ser gerados mensal e semestralmente para acompanhamento e avaliação da execução financeira do programa tanto para o CAE quanto para o FNDE Rodrigues 2005 após analisar o sistema SAMPNAE sob os aspectos 1 quanto a sua importância como sistema de informação e 2 quanto às condições em que fora disponibilizado e tendo como claro que a responsabilidade pela alimentação dos dados era atribuída apenas aos conselheiros evidenciou a existência de entraves na utilização do sistema SAMPNAE pelos motivos que se seguem Inexistência de condições para que o CAE instalasse e operacionalizasse o sistema uma vez que este tinha dificuldades na obtenção de informações necessárias para o pleno funcionamento do mesmo Constituição do sistema em módulos um destinado ao CAE e outro a Escola gerando um controle rígido de todas as etapas que envolvem a execução do Programa desde a elaboração do cardápio até a oferta do alimento aos alunos No entanto para que tal controle se efetivasse seria necessário que todas as escolas estivessem informatizadas com pessoal treinado e habilitado para alimentar o sistema a fim de que estas realizassem o controle da execução do Programa na escola para depois transportar os dados para o módulo CAE por meio de disquetes Impossibilidade de correção do sistema caso houvesse problemas na operacionalização uma vez que o sistema não possuía nenhum tipo de conexão em rede com o FNDE Inexistência de envolvimento dos usuários que não foram sensibilizados sobre a importância e relevância da utilização do sistema como uma ferramenta facilitadora para o exercício de suas atribuições de acompanhar e monitorar a execução do Programa e do próprio FNDE que não se preparou para o recebimento das informações repassadas 48 pelo sistema bem como o fornecimento de orientações quanto ao seu uso do SAMPNAE O SAMPNAE representou um excelente instrumento de acompanhamento da execução físicofinanceira e de controle Entretanto para que fosse mais efetivo e continuasse a servir seu propósito seria necessário retirar as restrições acima mencionadas no manuseio do sistema e acrescentar alguns campos a fim de atualizálo com a nova legislação disponibilizálo na internet como um software livre dando oportunidade para que os usuários pudessem apresentar propostas de melhoria Assim ele poderia ser revisado periodicamente de acordo com a necessidade Concomitante a elaboração e construção do SAMPNAE a CoordenaçãoGeral do Programa elaborou diversas estratégias para a realização do acompanhamento e monitoramento do PNAE a cada exercício uma vez que os órgãos de controle demandavam do FNDE o acompanhamento da execução do Programa pelas EE O acompanhamento tem como base legal o inciso I do art 3º da Resolução nº 0152000 de 25082000 do Conselho Deliberativo do FNDE o qual assim dispõe in verbis Art 3º Participam do PNAE I FNDE responsável pela assistência financeira normatização coordenação acompanhamento fiscalização cooperação técnica e avaliação da efetividade da aplicação dos recursos diretamente ou por delegação FNDE 2000 grifo nosso p 2 Com a descentralização dos recursos financeiros diretamente às EE e as novas regras para executar o Programa a partir de 1999 as demandas da CGU para o FNDE em relação ao PNAE começaram a aumentar em razão de denúncias sobre a má utilização do recurso federal de problemas na constituição do CAE e das próprias fiscalizações realizadas por membros dos Conselhos Em meados do exercício de 2001 as demandas da CGU já solicitavam que houvesse um acompanhamento da execução do PNAE mais próximo das EE ou seja in loco Essas demandas integravam os relatórios 49 de fiscalização elaborados pela CGU e neles havia a exigência de que o FNDE verificasse a situação da execução do PNAE pelas EE A partir das demandas da CGU os técnicos da SUAPA viram a necessidade de se criar roteiros instrumentos de trabalhos com o intuito de auxiliar a verificação da execução do programa pelas EE Estes roteiros foram construídos abarcando a legislação vigente no formato de questionários e tinham como finalidade auxiliar os técnicos no momento da visita Não era um instrumento fechado pois se diante de um questionamento houvesse a necessidade de se fazer outros o técnico tinha a liberdade de fazêlo e ainda registrar tanto pergunta quanto resposta no instrumento Assim após a mudança da forma de repasse dos recursos em 1999 o primeiro processo de acompanhamento da execução do PNAE iniciou se em 2001 quando foram realizadas 99 visitas em sua maioria em municípios de pequeno porte localizados no interior do País para atender demandas dos órgãos de controle Nesse acompanhamento eram utilizados questionários cujas questões contemplavam as determinações impostas pela legislação vigente à época Resolução CDFNDE nº 0152000 e a análise destes ficava registrada em relatórios de acompanhamento Considerando o reduzido número de servidores existentes na CoordenaçãoGeral do PNAE não foi possível dar os encaminhamentos aos relatórios conforme proposto pela área e os resultados foram sintetizados em resposta à Secretaria Federal de Controle Interno SFC e Tribunal de Contas da União TCU por meio de ofício restringindose tão somente à consolidação das situações encontradas Como não havia orçamento específico para o acompanhamento da execução do programa nas Entidades Executoras este foi realizado em conjunto com capacitações de conselheiros de alimentação escolar iniciado naquele ano tendo sido utilizado recursos destinados para diárias e passagens do FNDE A estratégia adotada para capacitar os Conselhos foi a de realização de encontros regionais com a duração de três dias quando eram proferidas 50 palestras sobre a execução do PNAE bem como oficinas de planejamento estratégico para os conselheiros de diversos municípios Estes após a capacitação ficavam responsáveis por multiplicar as informações adquiridas para os demais municípios limítrofes ou localizados próximos a eles Para que o municípiopólo realizasse o processo de multiplicação da capacitação técnicos do Programa quando solicitados eram deslocados para dar o suporte técnico necessário e com vistas ao melhor aproveitamento das despesas com diárias e passagens municípios próximos eram selecionados e incluídos no processo para que se fosse feito o acompanhamento da execução do PNAE Para o exercício de 2002 a Diretoria de Ações Educacionais DIRAE obteve junto à área de orçamento do Ministério da Educação rubrica específica voltada para a Capacitação do Controle Social a qual foi utilizada não só nas capacitações dos CAE mas também no acompanhamento e monitoramento da execução do Programa seguindo os mesmos critérios de 2001 ou seja denuncias formalizadas junto à Autarquia e demandas da CGU ou MPU Neste exercício foram visitados 188 municípios sendo prioritariamente no interior do País onde a necessidade de orientação era maior em razão das dificuldades de acesso da informação tanto por parte dos gestores quanto dos próprios Conselhos de Alimentação Escolar Para o acompanhamento realizado no exercício de 2002 novos questionários foram elaborados e ajustados à nova legislação Resolução CDFNDE nº 0152000 de 25082000 e Resolução CDFNDE nº 022002 de 10012002 Os resultados das visitas foram registrados em relatórios elaborados pelos próprios técnicos entretanto estes não saíam da Coordenação devido ainda ao reduzido número de servidores que eram obrigados a realizar outras atividades necessárias ao bom andamento do PNAE Vale ressaltar o dito anteriormente que em razão do reduzido número de servidores e da grande demanda de atividades da área não foram dados os encaminhamentos possíveis aos relatórios conforme proposto pelos 51 técnicos sendo os resultados apenas sintetizados e encaminhados aos órgãos de controle SFC e TCU Em razão das dificuldades detectadas desde 2007 iniciouse o processo de reestruturação do sistema com uma avaliação inicial do sistema de monitoramento existente Esse processo foi conduzido pela Universidade Federal de São Paulo por meio do Centro Colaborador em Alimentação e Nutrição do Escolar CECANE1 em estreita coordenação com o FNDE A implantação do SIMPNAE está organizada em diferentes etapas com a utilização de pilotos até a abrangência da totalidade do território Importante situar o desenvolvimento ainda que não seja objeto da presente pesquisa do Sistema Informatizado de Monitoramento do Programa Nacional de Alimentação Escolar SIMPNAE que tem como objetivo avaliar emitir relatório ao FNDE e validar os processos de avaliação e monitoramento do Programa Palestra sobre o Sistema de Monitoramento do Programa Nacional de Alimentação Escolar proferida por Elke Stedefeldt no IV Encontro Nacional do Programa Nacional de Alimentação Escolar Natal 25 de novembro de 2008 Tem como características uma linguagem livre organizada em multiplataforma O sistema serve como plataforma WEB para gerenciamento dinâmico de informações suporte técnico permitindo que dúvidas sejam retiradas on line Além disso o SIMPNAE pode gerar relatórios e planilhas com a análise quantitativa e qualitativa do cardápio utilizado na alimentação escolar permitir o acesso de diferentes usuários identificados pelo sistema bem como identificar registro de alterações feitas na base de dados identificando o usuário 1 O Centro Colaborador em Alimentação e Nutrição do Escolar foi instituído com a finalidade de prestar apoio técnico e operacional aos estados e municípios na implementação da alimentação saudável nas escolas incluindo a capacitação de profissionais de saúde e de educação merendeiras cantineiros conselheiros de alimentação escolar e outros profissionais interessados 52 343 2003 Nova abordagem para o PNAE A partir de 2003 o PNAE passa a ter uma nova abordagem por parte dos novos gestores do Programa Houve na realidade uma mudança de paradigma na forma de se encarar a questão da alimentação e nutrição no contexto escolar Passouse de uma visão assistencialista de troca de auxílio ao escolar em que a alimentação era vista como um recurso a mais para ser utilizado com o intuito de favorecer a melhoria das condições de aprendizado com medidas de construção de bibliotecas laboratórios ou reforma das escolas para ser compreendida como parte do processo ensinoaprendizagem como prática pedagógica como ação educativa Desta forma os princípios que passaram a nortear o PNAE foram efetivamente os de a Direito Humano a Alimentação Adequada b Universalidade c SustentabilidadeContinuidade d Equidade e Respeito aos hábitos regionais e às tradições culturais f Compartilhamento das responsabilidades e g Participação social Para tanto foram estabelecidas diretrizes norteadoras do Programa que se traduziram no emprego de uma alimentação saudável e adequada na Inclusão da Educação Alimentar e Nutricional no processo de ensino e aprendizagem na descentralização das ações e articulação entre os gestores da política e finalmente no apoio ao desenvolvimento sustentável com incentivos a aquisição de gêneros diversificados Os princípios e diretrizes de são os pilares do Programa até os dias atuais Ainda em 2003 como parte do conjunto de ações implementadas pelo Governo Federal no âmbito do Programa Fome Zero em um esforço conjunto realizado pelo Ministério da Educação por meio do FNDE e do então Ministério Extraordinário de Segurança Alimentar e Combate à Fome MESA foi implementado o Programa Nacional de Alimentação Escolar para os alunos matriculados nas escolas indígenas conhecido como PNAI que consiste no atendimento diferenciado com alimentação escolar para os alunos das escolas indígenas tendo em vista o altíssimo grau de insegurança alimentar que tem marcado a história dos povos indígenas o qual foi regulamentado por meio da 53 Resolução nº 045 de 31 de outubro de 2003 do Conselho Deliberativo do FNDE Tal iniciativa veio assegurar o direito humano básico à alimentação dos alunos indígenas com o intuito de contribuir para a redução da desnutrição infantil e suas consequências respeitandose os hábitos alimentares e culturais particulares de cada etnia Atualmente o repasse dos recursos financeiros federais para a execução do PNAI ocorre nas mesmas formas e condições estabelecidas pelo PNAE ou seja a transferência dos recursos se faz diretamente aos estados e municípios que possuem alunos da educação indígena conforme dados obtidos no censo escolar do ano anterior ao do atendimento entretanto para atendimento de 200 dias letivos O valor na época por alunodia era de R 034 trinta e quatro centavos e considerando que o atendimento iniciouse em outubro de 2003 sendo repassados recursos para a cobertura de apenas 65 dias letivos compreendidos entre os meses de outubro a dezembro e a partir de 2004 foram transferidos recursos para 250 dias referentes aos meses de janeiro a dezembro excluindose tão somente os finais de semana e os feriados nacionais O acompanhamento da execução do PNAE iniciouse no segundo semestre e considerando o reduzido número de técnicos disponíveis e ainda buscando otimizar a utilização dos recursos financeiros disponíveis esse trabalho foi realizado durante as viagens realizadas pelos técnicos do PNAE para capacitar os conselheiros de alimentação escolar A estratégia aplicada para a escolha dos municípios a serem monitorados consistia em selecionar cinco municípios localizados próximos ao município pólo onde ocorreria o Encontro de Capacitação priorizando aqueles que tivessem sido objeto de denúncia junto ao programa Em 2003 o acompanhamento iniciouse no segundo semestre conforme Projeto Básico FNDE 2003 elaborado pela então Sub Coordenação de Acompanhamento e Avaliação do PNAE e aprovado pelo 54 presidente do FNDE O número de municípios visitados foi extremamente reduzido apenas 45 municípios sendo que no estado de Roraima foram visitadas ainda 20 aldeias indígenas com o objetivo de verificar como estava sendo implementado o PNAI Nesse momento foram repassadas orientações às respectivas lideranças indígenas Com as novas prioridades estabelecidas com a posse do Governo Lula em 2003 ações voltadas para se garantir uma alimentação saudável de qualidade em quantidade suficiente e de modo permanente passaram a ser foco extremamente relevante para se implementar as políticas públicas Dentre os programas federais que permitiam atender a essa garantia encontravase o PNAE que até então apesar de estabelecer em normativos legais Medida Provisória nº 21783601 e Resoluções do Conselho Deliberativo do FNDE diretrizes e normas para a utilização dos recursos federais para oferecer uma alimentação escolar de qualidade aos alunos matriculados nas escolas públicas e filantrópicas de todo o País não se preocupou durante esses últimos oito anos em promover qualquer ação voltada para a educação alimentar e a formação de hábitos alimentares saudáveis Até então o objetivo central do Programa concentravase no repasse financeiro por parte da União para viabilizar o fornecimento de uma refeição que garantisse a permanência dos alunos na escola Portanto o pressuposto era de que esse programa tivesse um caráter assistencialista quando não era obrigatório que as escolas particulares fornecessem alimentação escolar aos estudantes e quando o próprio Estado não assegurava que os escolares do ensino médio tivessem o direito de receber essa alimentação Assim sendo a partir dessa nova dimensão em que se encontrava o PNAE a CoordenaçãoGeral do PNAE enfrentou várias dificuldades operacionais provocadas inclusive pela reforma administrativa ocorrida na década de 1990 em que houve uma drástica redução da máquina administrativa federal acarretando o enxugamento dos quadros funcionais das autarquias federais a falta de perspectiva de ascensão dos servidores e os 55 baixos salários provocados por planos de carreira defasados e estagnados Isso obrigou o FNDE a substituir os servidores de carreira por prestadores de serviços pouco qualificados e mal remunerados Para melhor entendimento da situação em que se encontrava a CoordenaçãoGeral do PNAE na época apresentase na Figura 01 a estrutura organizacional aprovada pelo Decreto nº 5157 de 27 de julho de 2004 que diferentemente de todos os demais Programas executados pelo FNDE contava com apenas duas Coordenações para realizar todas as atividades inerentes à execução do PNAE Figura 01 Estrutura Organizacional da CGPAE Coordenaçãogeral do Programa Nacional de Alimentação Escolar CGPAE DAS 1014 Coordenação Técnica De Alimentação e Nutrição COTAN DAS 1013 CGPAE Coordenação de Execução e Acompanhamento COEAC DAS 1013 Assessoria Administrativa DAS 1013 DAS 1022 CEDIDOS PELA DIRAE Quadro 04 Quadro de Pessoal CGPAE Pessoal Função Quantidade CoordenadorGeral DAS 1014 1 Coordenadores DAS 1013 2 FG1 3 FCT 5 56 Dentre os servidores públicos federais prestadores de serviços e estagiários a equipe se compunha de 39 funcionários sendo que 3 que ocupavam funções comissionadas não tendo portanto vínculo com o FNDE 3 servidores cedidos de outros órgãos federais e estaduais também sem vínculo com o FNDE 15 servidores efetivos sendo 4 de nível superior e 11 de nível médio realizando atividades pertinentes à servidores de nível superior 11 prestadores de serviços e 7 estagiários Em uma análise da situação do nível qualitativo do quadro funcional percebese a deficiência existente na CGPAE visto que não possuía nenhum profissional de Nutrição em seu quadro permanente o que demonstra a visão reducionista das obrigações da União até o ano de 2003 Com a descentralização dos recursos e da execução do PNAE o quadro de funcionários como já dito anteriormente foi reduzido ao ponto em que especialistas na área de alimentação e nutrição desapareceram ficando portanto a responsabilidade de acompanhar orientar supervisionar e fiscalizar as atividades exclusivamente técnicas que ocorrem em cada estado e município brasileiro a cargo de servidores não habilitados para tais atividades Ao comparar a situação existente à época em que o Programa era executado de forma centralizada sob a responsabilidade da extinta Fundação de Assistência ao Estudante FAE e a atual verificase que a FAE possuía um corpo de 10 nutricionistas e um núcleo de controle de qualidade de alimentos diferente do que acontecia na CGPAE Outro fator que prejudicava extremamente as atividades que o Programa demandava foi a extinção do sistema de controle de qualidade dos produtos do Programa que passou a ser realizada por meio de convênios com uma rede de laboratórios analíticos das Universidades das Secretarias de Saúde e de instituições de pesquisa credenciados à época pela FAE Isso aconteceu de comum acordo com a Secretaria Nacional de Vigilância Sanitária hoje Agência Nacional de Vigilância Sanitária ANVISA haja vista que apesar de o FNDE não ter mais a responsabilidade pela compra direta dos alimentos há a responsabilidade pela garantia da qualidade dos alimentos comprados pelos demais entes A Resolução do PNAE estabelece a obrigatoriedade 57 desses entes de manter essa garantia e não ter qualquer tipo de forma de contestação por parte do FNDE quanto aos problemas que surgem frequentemente com o consumo da alimentação escolar Outro ponto crítico levantado na época era a questão do controle tanto social quanto institucional Ações de fortalecimento do controle social deveriam ser implementadas de forma a garantir a infraestrutura para o bom funcionamento do trabalho dos conselheiros treinamento e capacitação constante Isso resultou da mudança determinada na Medida Provisória no que se referia à responsabilidade de os Conselhos de Alimentação Escolar analisar e emitir parecer quanto à prestação de contas dos gestores locais Esta era e continua sendo uma grande preocupação que se deve ter haja vista que o trabalho do conselheiro é voluntário e conforme estabelece a Lei nº 1194509 a obrigação de garantir a infraestrutura para que os Conselhos possam funcionar é da própria Entidade Executora estados e municípios que deveria ser constantemente fiscalizada pelo controle social Na medida em que o repasse dos recursos está condicionado à aprovação da prestação de contas pelo CAE isso representa que impasses políticos e até mesmo pessoais são criados entre gestores e conselheiros que acabam ficando à mercê dos poderes locais visto que não há nenhum aparelho do Estado para assegurar aos conselheiros a garantia do exercício desse dever que lhe foi imposto pela União Por outro lado percebese o quanto o controle da União na fiscalização e na garantia da alimentação escolar como direito humano é frágil uma vez que os próprios órgãos envolvidos a começar pelo próprio FNDE não possuem uma estrutura que permita se realizar um efetivo controle das ações dos gestores locais Assim sendo para que o FNDE tivesse à época um mínimo de estrutura que possibilitasse realizar um monitoramento e fiscalização minimamente satisfatórios seria preciso que se criassem parcerias com instituições federais que possuíssem representações em todos os estados do Brasil para que pudessem disponibilizar o apoio logístico necessário para 58 realização de visitas in loco como veículo local para reuniões das equipes para planejamento e outras atividades necessárias telefone etc O fato de os valores das diárias pagas pelo Poder Executivo não sofrerem atualizações constantes prejudicava consideravelmente o deslocamento dos servidores que em muitos casos acabavam utilizando recursos próprios para custear despesas de hospedagem e alimentação durante a realização dos trabalhos fora da localidade em que residissem Assim diante do exposto para o exercício de 2004 uma nova proposta de monitoramento foi elaborada e discutida junto à Coordenação Geral do PNAE para ser executada no início do mês de maio do mesmo ano Neste novo projeto para o deslocamento dos técnicos solicitavase o apoio logístico das prefeituras municipais e governos estaduais os quais disponibilizariam o transporte e o FNDE arcaria com as despesas de diárias do motorista e de pagamento de combustível por meio de suprimento de fundos Entretanto desde 2003 já havia uma resistência por parte da nova CoordenaçãoGeral do PNAE de utilizar essa logística A Coordenação não concordava com a utilização do apoio logístico fornecido pelos municípios e estados em razão destes estarem sendo monitorados Cabe ressaltar que desde o início dos acompanhamentos muitas dificuldades e dúvidas existiam tanto por parte da CoordenaçãoGeral do Programa quanto dos técnicos da área de monitoramento Quanto mais as dúvidas fossem sanadas melhor a atuação dos técnicos de forma mais eficiente e eficaz com a busca de resolver as irregularidadesimpropriedades constatadas Isso visa obter a melhoria da qualidade da execução do Programa Entretanto até aquele momento não se tinha respostas concretas que resolvessem os questionamentos abaixo descritos 1 Cabia ao monitoramento interferir no momento em que se constatassem irregularidadesimpropriedades oferecendo de imediato a orientação no intuito de sanar o problema 2 Era função do monitoramento realizar a análise da execução financeira 59 3 Qual a diferença entre monitoramento acompanhamento fiscalização e auditoria 4 Os resultados deveriam ser informados ao ente monitorado ou se restringiria a avaliação do Programa 5 Como fazer os deslocamentos dos técnicos para o interior dos Estados 6 Como melhorar o valor das diárias para o interior do país uma vez que estas eram extremamente reduzidas inviabilizando o trabalho dos técnicos 7 Como realizar o deslocamento dos técnicos para as visitas às escolas principalmente da zona rural cujo acesso era difícil necessitando sem utilizar o apoio do próprio municípioestado uma vez que a própria Autarquia não dispunha de meios para viabilizar o transporte Estas questões precisavam ser esclarecidas Algumas até hoje persistem como desafios ao PNAE e dificultam os trabalhos de monitoramento Já se verificou anteriormente experiências que não foram bem sucedidas em razão principalmente da falta de apoio logístico de outros órgãos aos quais foram solicitados o transporte para os técnicos sem êxito tais como Ministério Público Estadual Universidades Sindicatos Conselho Regional de Nutricionistas que alegavam não haver disponibilidade de transporte obrigando os técnicos do PNAE a utilizar o apoio dos municípios e Governos Estaduais monitorados Assim considerando o reduzido número de técnicos disponíveis a busca pela a otimização dos recursos o fato de se tratar de ano eleitoral para prefeitos e vereadores o que de certa forma prejudica o desenvolvimento dos trabalhos o monitoramento da execução do PNAE no exercício de 2004 consistiu basicamente em Visitas de avaliação e constatação da execução dos projetos selecionados para exposição no I Encontro Nacional de Experiências Inovadoras em Alimentação Escolar 10 municípios Visitas de avaliação e constatação da execução dos projetos selecionados para o recebimento do Prêmio Gestor Eficiente da Merenda 60 Escolar Edição 2004 promovido pela ONG Apoio Fome Zero em parceria com o FNDE 19 municípios Auditorias em parceria com a ControladoriaGeral da União 06 municípios Auditorias em parceria com a Auditoria Interna do FNDE 04 municípios Monitoramento em municípios com comunidades indígenas 08 municípios Monitoramento de rotina eou em função de denúncias 15 municípios Em resumo em 2004 foram visitados 62 municípios em 21 estados brasileiros Vale lembrar que o PNAE também recebe denúncias provenientes de todas as regiões do País e tem disponibilizado o seu corpo técnico quando possível para verificar in loco a situação de cada município Não sendo possível o deslocamento de técnico para a realização do trabalho o Programa por intermédio da área de monitoramento COMAC realiza as diligências por meio de correspondências solicitação de documentação comprobatória das providências adotadas para o saneamento das irregularidades Além das denúncias recebidas a COMAC tem dentro de suas atribuições regimentais desde a descentralização dos recursos federais em 1999 a responsabilidade pelo atendimento das diligências e acompanhamento junto aos municípios quanto às irregularidades apontadas nos Relatórios de Auditorias Inquéritos Civis Públicos relatórios de Inspeção emitidos pelos órgãos de controle interno e externo tais como ControladoriaGeral da União Ministério Público Tribunal de Contas da União e Auditoria Interna do FNDE Os trabalhos ainda hoje consistem na análise dos relatórios de auditoria encaminhamento de diligência aos prefeitos e Conselhos de Alimentação Escolar análise das respostas destes e comunicação do resultado das apurações aos respectivos órgãos controladores 61 A ControladoriaGeral da União desde 2003 desenvolve o Programa de Sorteios Públicos inovador no governo brasileiro que consiste em um mecanismo de sorteio para definição de regiões onde serão desenvolvidas fiscalizações especiais que podem ser por amostragem com relação aos recursos públicos federais ali aplicados por via dos órgãos da administração federal diretamente ou por meio de repasse sob qualquer forma para órgãos das administrações dos Estados ou dos Municípios e quaisquer outros órgãos ou entidades legalmente habilitados Os sorteios realizados desde 2003 geram cerca de 60 relatóriosmês sendo constatadas irregularidades na execução do PNAE em quase todos os municípios auditados Os relatórios são encaminhados à CoordenaçãoGeral do PNAE que encaminha ofícios aos gestores municipais responsáveis com as devidas orientações com vistas à regularização de procedimentos de gestão que contrariam a legislação afeta ao Programa Considerando ser de competência do CAE o acompanhamento da execução do PNAE nos seus respectivos municípios Estados e Distrito Federal uma cópia dos ofícios dirigidos aos gestores são enviada aos Conselhos para acompanhamento das providências adotadas no âmbito do Poder Executivo local e ainda com orientações relativas às atribuições que lhes foram conferidas pelos normativos do PNAE No Quadro 05 podemse observar os demonstrativos dos relatórios de auditorias encaminhados à COMAC pela ControladoriaGeral da União no exercício de 2004 62 Quadro 05 Demandas da ControladoriaGeral da União CGUPR Sorteios Públicos S Sorteios Municípios Fiscalizados Recomendação ao PNAE Ofícios enviados Reiteração Resposta Municípios Informados para a CGU Providencias adotadas P refeitura C AE Prefeitura C AE P refeitura C AE AUDIT CGECAP 1 Sorteio 6 Municípios 4 Municípios Ofícios 3 Ofícios 2 Sorteio 26 Municípios 21 Municípios 0 Ofícios 0 Ofícios 3 Ofícios 1 Oficio 1 Município 2 Municípios 3 Sorteio 50 Municípios 48 Municípios 5 Ofícios 4 Ofícios 5 Ofícios 8 Ofícios 2 Municípios 1 Município 4 Sorteio 50 Municípios 44 Municípios 8 Ofícios 8 Ofícios 1 Oficio 1 Oficio 4 Ofícios 8 Ofícios 1 Município 5 Sorteio 50 Municípios 40 Municípios 7 Ofícios 7 Ofícios 6 Ofícios 6 Ofícios 6 Ofícios 5 Ofícios OBS 1 Município 6 Sorteio 50 Municípios 38 Municípios 5 Ofícios 5 Ofícios 1 Oficio Nenhum 3 Ofícios 4 Ofícios OBS 1 Município TOTAL 232 Municípios 195 Municípios 79 Ofícios 74 Ofícios 8 Ofícios 7Oficios 14 Ofícios 26 Ofícios 3 Municípios 4 Municípios 2 Municípios OBS Foi enviado o oficio n 43804 à Secretaria Federal de Controle Interno informando sobre as medidas adotadas pelo PNAE com relação ao 5 e 6 Sorteio Público 63 Apesar de os normativos que regem o Programa estabelecerem como competência do FNDE o acompanhamentomonitoramento e avaliação do PNAE esta ação foi prejudicada nos exercícios de 2005 e 2006 haja vista não possuir o FNDE ou o próprio Programa recursos orçamentários e financeiros para executar tal atividade tampouco servidor em quantidade suficiente Ademais o Programa após a gestão FAE tinha perdido as representações nos Estados o que possibilitava dispor de apoio logístico de deslocamento para realização dos trabalhos e facilitava a verificação in loco Outro fator que prejudicou foi a falta de reajuste nos valores das diárias pagas aos servidores o que não permitia arcar com as despesas de alimentação hospedagem e deslocamento principalmente para o interior do país Desde 2007 a Coordenação Técnica de Alimentação e Nutrição COTAN que atualmente é uma das coordenações que formam a CGPAE estabeleceu um projeto básico de monitoramento com a finalidade de padronizar as ações realizadas pelos técnicos do Programa no momento em que estes acompanham e orientam o processo de execução do PNAE pelas Entidades Executoras com o intuito de verificar se está de acordo com as normas estabelecidas pelas legislações vigentes e com vistas ao aprimoramento da operacionalização e dos normativos do Programa A partir de então os objetivos do monitoramento passaram a ser a verificar a conformidade da execução do PNAE tendo por base o estabelecido pela legislação vigente e b orientar às Entidades Executoras Unidades Executoras UEx entendida como uma associação civil com personalidade jurídica de direito privado sem fins lucrativos que pode ser criada ou constituída por iniciativa da própria escola e da comunidade FNDE 2007 Conselhos de Alimentação Escolar e demais agentes envolvidos com o Programa quanto aos normativos legais vigentes c coletar dados para alimentar os indicadores do Programa e d exercer uma função orientativa de caráter dialógico junto às Entidades Executoras às Unidades Executoras aos 64 Conselhos de Alimentação Escolar e demais agentes envolvidos com vistas a aprimorar a execução do Programa No início de cada ano a COTAN estabelece dentre os critérios abaixo relacionados quais serão priorizados para a seleção das Entidades Executoras a serem monitoradas durante o exercício EE com denúncias formalizadas pela ControladoriaGeral da União Ministério Público da União pessoa física Movimentos Sociais entre outros EE fiscalizada pela CGUPR por meio do Projeto de Fiscalização a partir de Sorteios Públicos por amostra EE com irregularidades graves apontadas pelo Conselho de Alimentação Escolar no parecer conclusivo que acompanha a Prestação de Contas EE cujo parecer do CAE apresentar a execução do PNAE com plena regularidade EE que não regularizaram o CAE EE que não constituíram o CAE EE que não foram monitoradas pelos técnicos do PNAE no exercício anterior ao do monitoramento proposto EE que não foram auditadas pelo FNDE no exercício anterior ao do monitoramento proposto EE cujo repasse dos recursos financeiros foi suspenso em conformidade com o Art 37 da Resolução nº 38 de 160709 do Conselho Deliberativo CD do FNDE desde que haja solicitação por parte da CoordenaçãoGeral do PNAE 65 EE que possuem escolas federais e Sorteio de EE em caso de não haver fechado a demanda de monitoramento O número de EE selecionadas varia de um ano para o outro uma vez que este depende da disponibilidade de técnicos do PNAE bem como da disponibilidade orçamentária para suprir as despesas com deslocamento e alimentação Vale esclarecer que as denúncias relativas a exercícios anteriores não eram e ainda continuam não sendo objeto de verificação uma vez que a CoordenaçãoGeral do Programa entende que não cabe ao monitoramento acompanhar a execução do Programa nos exercícios anteriores essa atribuição pertence aos órgãos de controle externos e internos O monitoramento é realizado por técnicos do PNAE em grupo de 2 dois por viagem e o período de permanência é definido conforme o acesso e o porte do município sendo Quadro 06 Período de Permanência in loco no Monitoramento ENTIDADES EXECUTORAS DIAS ÚTEIS Secretarias de Educação do Estado 10 Municípios de grande porte ou Prefeituras de Capitais 05 Municípios de pequeno porte próximos de regiões metropolitanas até de 100 km 02 Municípios de médio porte próximos de regiões metropolitanas até 100 km 03 Municípios de pequeno porte distantes de regiões metropolitanas a cima de 100 km 02 Municípios de médio porte distantes de regiões metropolitanas a cima de 100 km 03 mais 02 dois dias para o deslocamento mais 02 dois dias para o deslocamento quando houver a necessidade de transporte fluvial ou não houver estradas pavimentadas ou quando a localidade for de difícil acesso 66 Para fins da execução do monitoramento a CoordenaçãoGeral classificou as EE em a Pequeno Porte aquelas com até 35 escolas b Médio Porte aquelas que possuírem de 36 a 105 escolas e c Grande Porte aquelas que possuírem acima de 106 escolas Em 2007 cumprindo os objetivos e atribuições de monitoramento o PNAE executou 33 visitas2 de monitoramento em todo Brasil sendo que 9 delas foram executadas em conjunto com a auditoria interna do FNDE As visitas foram realizadas em municípios de 17 Estados além de 9 Secretarias de Estado de Educação O processo de monitoramento do PNAE é auxiliado pelo trabalho dos órgãos de controle que são responsáveis pelas ações relativas à defesa do patrimônio público e ao incremento da transparência da gestão por meio das atividades de controle interno e externo auditoria pública correição prevenção e combate à corrupção e ouvidoria Na Figura 02 apresentamse os dados referentes às EE que sofreram algum tipo de fiscalização pelos órgãos de controle interno e externo e que por isso receberam do PNAE especificamente da Coordenação de Monitoramento e Avaliação as orientações necessárias para a correção da execução do Programa 2 Visitas de monitoramento significam municípios monitorados 67 Figura 02 Número de atividades de orientação aos municípios de acordo com o tipo de controle eou fiscalização por órgão de controle 180 115 95 34 174 10 608 0 100 200 300 400 500 600 700 SORTEIOS DENÚNCIAS MINISTÉRIO PÚBLICO AÇÃO DE CONTROLE RELATÓRIOS DE AUDITORIA POLÍCIA FEDERAL TOTAL TOTAL DE MUNICÍPIOS ANALISADOS 2007 344 O Processo de Monitoramento do PNAE Após a definição das Entidades Executoras que serão monitoradas no exercício e ainda definida a parceria e escala de viagem os técnicos próximo à data da partida providenciam um documento de apresentação Esse documento informa ao gestor a ser visitado o nome dos técnicos o motivo e o período da visita Da mesma forma os técnicos buscam informações internas com o intuito de subsidiar o monitoramento conforme indicado abaixo 1 Nº de escolas Nº de alunos previstos para o atendimento do PNAE censo escolar do ano anterior ao atendimento se houve delegação da rede de ensino estadual para o município 2 Existência e situação de Nutricionistas no Programa dado obtido no Cadastro de Nutricionistas existente na COTAN 3 Dados referentes à constituição do Conselho de Alimentação Escolar bem como possíveis pendências de documentação dados obtidos no setor de cadastramento de conselhos 4 Existência do Termo de Compromisso no arquivo da COTAN 68 5 Número e valor das parcelas transferidas até a data da viagem dado existente no sistema informatizado do FNDE 6 Existência de denúncias cadastradas na Autarquia oriundas do Ministério Público da União Tribunal de Contas da União Polícia Federal Controladoria Geral da União Ouvidoria do FNDE sobre a execução do Programa na Entidade Executora a ser visitada eou se foi contemplada pelo Programa de Fiscalização de Recursos Federais a partir de Sorteios Públicos realizados pela CGU 7 Número de Declaração de Aptidão ao Programa Nacional de Fortalecimento da Agricultura Familiar DAP Física eou Jurídica existentes na EE 8 Condição em que se encontra a Prestação de Contas do exercício anterior Vale esclarecer que as informações constantes dos itens 1 3 5 e 8 acima mencionado até o exercício de 2008 estavam armazenadas no Sistema de Ações e Assistência Educacional SAE do FNDE De 2009 em diante as informações passaram a ser armazenados no Sistema Integrado de Gestão da Alimentação Escolar SIGAE As demais se encontram armazenadas em sistemas coorporativos dentro da CoordenaçãoGeral Os documentos que acompanham os técnicos no monitoramento são o questionário de Entidade Executora Centralizada Escolarizada Terceirizada Visita às Escolas Centralizada Visita às Escolas Escolarizada e visita às escolas Terceirizada além do caderno de legislação o qual contém as legislações que regem o Programa sendo elas Lei nº 119472009 Lei nº 866694 e suas alterações Resolução CDFNDE nº 382009 Portaria nº 10102006 Portaria MEC nº 2512000 Resolução CFN nº 3342004 Resolução CFN nº 4652010 Resolução RDC nº 2162004 Resolução nº 3602003 Lei nº 105202002 Decreto 54502005 Decreto nº 39312001 Decreto nº 43422002 e Decreto nº 55042005 69 Antes de sair o técnico entra em contato com a EE a ser visita para entre outros assuntos saber qual a modalidade de gestão financeira utilizada Diante da informação escolhemse quais formulários levar Com relação aos questionários vale lembrar que eles variam de acordo com o tipo de gestão financeira utilizada pela EE que pode ser a centralizada b escolarizada e c semidescentralizada sendo que na primeira o gestor recebe o recurso financeiro destinado à execução do Programa e realiza a compra dos gêneros alimentícios na segunda o gestor recebe o recurso financeiro e o transfere às escolas públicas de sua rede para que estas realizem a compra dos gêneros alimentícios e na terceira o gestor compra os gêneros alimentícios mas terceiriza a mão de obra FNDE 2006 Ao chegarem à Entidade Executora os técnicos do Programa se apresentam na Secretaria Municipal de Educação quando se tratar de município ou na Secretaria Estadual de Educação quando se tratar de Estado para a entrega do documento de apresentação e esclarecimentos a cerca do objetivo da visita da solicitação de documentos referentes à execução do PNAE do planejamento das atividades dos agendamentos de reuniões e de visita às escolas As reuniões com os gestores nutricionistas e conselheiros acontecem em duas etapas A primeira ocorre no primeiro dia de visita para que os técnicos no caso dos gestores possam conhecer como a EE executa o Programa quais as atividades que desenvolvem como realizam as compras dos gêneros alimentícios a compra da Agricultura Familiar via Chamada Pública armazenagem etc No caso das nutricionistas quais as atividades desenvolvidas na EE e no caso do Conselho como desenvolvem as suas atribuições A segunda etapa ocorre ao final do monitoramento quando é repassado para os gestores nutricionista e conselheiros o resultado da visita bem como as orientações que se fizerem necessárias Nessas reuniões os questionários mencionados anteriormente são utilizados para nortear os direcionamentos das questões podendo a critério 70 dos técnicos acrescentar outras perguntas com o intuito de complementar eou esclarecer as informações repassadas pelos atores envolvidos Ao longo de cada uma das reuniões são solicitados documentos por meio da Solicitação de Documentação da EE os quais são analisados durante o período de realização do monitoramento a luz das legislações vigentes sendo eles Do Gestor Procedimentos licitatórios quando se tratar de município 100 escolarizado os procedimentos de compra são verificados nas escolas contratos pagamentos efetuados notas fiscais cópias dos cheques ou ordem bancária extratos das contas específicas e das aplicações ou no Mercado Financeiro menos de 30 dias sem utilização ou na Poupança mais de 30 dias sem utilização Termo de Compromisso Controles de distribuição dos gêneros alimentícios guias de remessa chamadas públicas realizadas Projeto de Venda de Gêneros Alimentícios da Agricultura Familiar para Alimentação Escolar Contrato de Aquisição de Gêneros Alimentícios da Agricultura Familiar e do Empreendedor Familiar Rural firmados Relatório de Gestão do exercício anterior e outros que se fizerem necessários Do Nutricionista Pauta de compra Cardápios planejados creche préescolar ensino fundamental ensino médio ensino de jovens e adultos quilombolas indígenas diferenciados para portadores de restrições alimentares conforme o caso Ato de Nomeação eou Indicação do ResponsávelTécnico pelo Programa Plano Anual de Trabalho do exercício Diagnóstico e Acompanhamento do estado nutricional dos alunos entre outros São solicitadas cópias dos cardápios praticados no exercício para que estes sejam analisados pela equipe técnica da COTAN a fim de verificar o atendimento das legislações vigentes e Do Conselho de Alimentação Escolar Regimento Interno Livro Ata Atas de indicação dos membros Ata de eleição de Presidente e Vice Presidente cronograma de visitas do ano entre outros Na reunião com os responsáveis pela execução do PNAE na EE são agendadas as visitas ao armazém central caso haja onde se verificará como 71 os gêneros alimentícios estão armazenados a marca e a forma de embalagem para posteriormente verificar se a relação de produtos está em conformidade com os constantes no edital na proposta de preços nos contratos nas notas fiscais e com os entregues nas escolas Agendamse também visitas às cooperativas eou agricultores familiares empreendedores familiares As escolas a serem visitadas são selecionadas pelos técnicos de acordo com as modalidades de ensino existentes na EE creche préescola ensino fundamental ensino médio Educação de Jovens e Adultos filantrópica indígena e quilombola sempre procurando um equilíbrio entre as escolas localizadas na zona rural e na zona urbana Durante o período de permanência dos técnicos na EE estes dividem o tempo a fim de que possam analisar toda a documentação referente à execução do programa visitar as escolas selecionadas dentro dos critérios estabelecidos inspecionar o armazém central se for o caso visitar às cooperativas eou agricultores empreendedores familiares e ainda ao final realizar as reuniões com os atores envolvidos com o intuito de orientar as possíveis irregularidades que existirem As visitas às escolas selecionadas acontecem sempre com a presença de um conselheiro do nutricionista responsável técnico quando houver e do representante do setor da Alimentação Escolar da EE Na escola a primeira atividade é informar ao Diretor ou seu substituto o motivo da visita e aplicar o questionário registrando as irregularidades pontos positivos negativos se houver Logo em seguida visitase o local de preparo dos gêneros alimentícios para além de dar continuidade à aplicação do questionário a fim de obter informações a cerca da aceitação do cardápio pelos alunos registrar as condições da estrutura física do ambiente dos equipamentos e do local de armazenamento Caso a EE execute o Programa na forma escolarizada ou seja a EE repassa os recursos financeiros recebidos à conta do PNAE diretamente às escolas de educação básica pertencentes à sua rede de ensino ou às Unidades Executoras os técnicos verificam a se o procedimento de compra 72 está compatível com a legislação do PNAE b o extrato bancário da escola visando saber se a movimentação está sendo feita em conta específica c se os recursos movimentados são só os transferidos pelo FNDE ou se existe contra partida por parte da EE d se a transferência das parcelas está sendo realizada no prazo estabelecido pelo FNDE e se há cobrança de taxas f se os débitos se referem a pagamento ao fornecedor mediante cheque nominativo e g se há aplicação no mercado financeiro ou poupança Ao estabelecer o cronograma de visitas às escolas os técnicos tomam o cuidado de realizar dentro do possível o acompanhamento no horário da oferta do alimento para aproveitar a ocasião e conversar com os alunos a fim de obter subsídios acerca da qualidade da alimentação oferecida Em todas as fases do monitoramento quando detectado alguma irregularidade seja por meio de constatação documental ou visita in loco os técnicos emitem orientações por meio do formulário Orientações Repassadas às Unidades Executoras onde ficarão registradas as impropriedades com as respectivas orientações Ao final do monitoramento após as análises documentais e visitas às escolas os técnicos realizam com cada um dos atores envolvidos na execução do PNAE uma última reunião com o intuito de repassar as recomendações que se fizerem necessárias a com os gestores para passar informes sobre da realização dos trabalhos pontos positivos e pontos negativos o que precisa melhorar b com o CAE e a nutricionista a fim de reforçar a importância de suas atribuições comunicar as impropriedades detectadas no monitoramento orientálos para uma melhor atuação Ao retornar os técnicos elaboram o Relatório de Monitoramento tendo como base as quatro principais atividades desenvolvidas na EE a análise documental b reuniões c visita ao depósito central e d visitas às escolas Cada uma dessas atividades desenvolvida permite uma série de constatações que depois de confrontadas são descritas no relatório O relatório pronto é enviado para correção Após os ajustes necessários o relatório é assinado pelos técnicos responsáveis e remetido à 73 Coordenadora da COTAN que por sua vez o encaminha à Coordenadora Geral do Programa para que esta após conhecimento atenda as recomendações nele contidas ou seja remeta cópia do mesmo para o gestor Conselho de Alimentação Escolar e para a área de Auditoria Interna do FNDE a fim de que esta última registre as possíveis impropriedades e orientações as quais serão cobradas em caso de Auditorias futuras realizadas na EE FNDE 2008 74 4 METODOLOGIA Esta pesquisa caracterizouse como descritivaexploratória com abordagem qualitativa Descritiva porque expôs o processo de monitoramento do Programa Nacional de Alimentação Escolar tendo como objetivo central a descrição do objeto de estudo além de conhecer e interpretar a realidade sem nela interferir para modificála CHURCHILL JUNIOR 1987 Podese dizer que ela está interessada em descobrir e observar fenômenos procurando descrevêlos classificálos e interpretálos A pesquisa descritiva expõe as características de determinada população ou de determinado fenômeno mas não tem o compromisso de explicar os fenômenos que descreve embora sirva de base para tal explicação Foi também um estudo exploratório pois possibilitou ao pesquisador uma maior familiaridade com o problema em questão Este esforço teve como meta tornar um problema complexo mais explícito ou mesmo construir hipóteses mais adequadas A pesquisa exploratória é usada em casos nos quais é necessário definir o problema com maior precisão e identificar cursos relevantes de ação ou obter dados adicionais antes que se possa desenvolver uma abordagem Como o nome sugere essa pesquisa procura explorar um problema ou uma situação para prover critérios e compreensão MALHOTRA 2001 Acrescentese às perspectivas da pesquisa o seu aspecto qualitativo na medida em que se pretendeu apreender sentidos e significados do monitoramento para os sujeitos participantes do estudo configurando as necessidades de formação dos atores envolvidos no processo de monitoramento bem como o seu limite e possibilidade Segundo Godoy 1995 os estudos denominados qualitativos têm como preocupação fundamental o estudo e a análise do mundo empírico em seu ambiente natural Nessa abordagem valorizase o contato direto e 75 prolongado do pesquisador com o ambiente e a situação que está sendo estudada 41 CONTEXTO DE PESQUISA O Fundo Nacional de Desenvolvimento da Educação é uma autarquia do Ministério da Educação que tem como missão prover recursos e executar ações para o desenvolvimento da Educação visando garantir educação de qualidade a todos os brasileiros Entre seus principais desafios está a eficiência na gestão dos programas finalísticos e entre as suas ações mais importante está o Programa Nacional de Alimentação Escolar que se encontra inserido na Diretoria de Ações Educacionais DIRAE mais especificamente na CoordenaçãoGeral do Programa de Alimentação Escolar CGPAE Cabe a esta Coordenação coordenar acompanhar supervisionar e avaliar a execução das ações do Programa dentre elas a de conceber e viabilizar a implementação do sistema geral e dos sistemas específicos de monitoramento do PNAE FNDE 2007 Com a execução descentralizada do PNAE a transferência dos recursos financeiros aos estados Distrito Federal municípios passou a ser efetivada automaticamente pela SecretariaExecutiva do Fundo Nacional de Desenvolvimento da Educação sem necessidade de convênios ajuste acordo ou contrato mediante depósito em conta corrente específica Ao longo desses anos várias tentativas foram feitas para se estabelecer um padrão no monitoramento do Programa O grande desafio da CoordenaçãoGeral atualmente é como acompanhar e monitorar os 5564 municípios e os 27 estados brasileiros Entidades Executoras do Programa que por sua vez atendem diariamente cerca de 47 milhões de alunos da educação básica e a de jovens e adultos 76 42 POPULAÇÃO DE ESTUDO Esta pesquisa foi desenvolvida na CoordenaçãoGeral do PNAE especificamente com a área responsável por realizar o monitoramento nas Entidades Executoras a Coordenação Técnica de Alimentação e Nutrição Assim os sujeitos da pesquisa foram os servidorescolaboradores que participaram do monitoramento do Programa Nacional de Alimentação Escolar no período de 20072008 e os que atualmente participam além dos servidores responsáveis pelas coordenações tanto técnica quanto geral e o servidor responsável pela coordenação da Auditoria Interna Os representantes das coordenações contribuíram com a pesquisa no sentido de fornecer uma visão sobre o que significa monitorar e como deve ser realizado o acompanhamento da execução do Programa numa perspectiva de chefia Para isso eles foram submetidos a questionamentos específicos conforme apresentado no Roteiro da Entrevista para Coordenadores Apêndice 03 Diante do exposto foram sujeitos desta pesquisa 10 servidorescolaboradores e 2 coordenadores assim distribuídos oito servidores lotados na Coordenação de Monitoramento e Acompanhamento COMAC área responsável pela formação permanente acompanhamento e validação dos Conselhos de Alimentação Escolar dois servidores que hoje se encontram lotados em outras coordenações dentro do FNDE que no período de 20072008 estavam envolvidos no processo de monitoramento do Programa uma CoordenadoraGeral do PNAE e um CoordenadorGeral da Auditoria Interna Configurouse desta forma um total de doze participantes 77 43 PROCESSO DE COLETA DE DADOS 431 Entrevista SemiEstruturada Com os Técnicos do PNAE A entrevista é um processo de interação social no qual o entrevistador tem a finalidade de obter informações do entrevistado por meio de um roteiro contendo tópicos em torno de uma problemática central HAGUETTE 1995 Por meio dela os pesquisadores buscam obter informações ou seja coletar dados objetivos podem ser obtidos também por meio de fontes secundárias tais como censos estatísticas etc e subjetivos só podem ser obtidos por meio da entrevista uma vez que eles se relacionam com valores atitudes e opiniões dos sujeitos entrevistados Haguette 199786 define entrevista como um processo de interação social entre duas pessoas na qual uma delas o entrevistador tem por objetivo a obtenção de informações por parte do outro o entrevistado Para Minayo 1994 a entrevista privilegia a obtenção de informações por meio da fala individual a qual revela condições estruturais sistemas de valores normas e símbolos e transmite por meio de um portavoz representações de determinados grupos Já para Moroz e Gianfaldoni 2002 a entrevista desenvolve uma relação pessoal entre pesquisadorsujeito o que facilita um maior entendimento dos pontos que ficaram nebulosos ao pesquisador apresentando uma maior flexibilidade A preparação da entrevista é uma das etapas mais importantes da pesquisa que requer tempo e exige alguns cuidados entre eles destacamse a o planejamento da entrevista que deve ter em vista o objetivo a ser alcançado b a escolha do entrevistado que deve ser alguém que tenha familiaridade com o tema pesquisado c a oportunidade da entrevista ou seja a disponibilidade do entrevistado em fornecer a entrevista que deverá ser marcada com antecedência para que o pesquisador se assegure de que será recebido d as condições favoráveis que possam garantir ao entrevistado o segredo de suas confidências e de sua identidade e por fim e a preparação específica que consiste em organizar o roteiro ou formulário com as questões importantes LAKATOS 1996 78 Quanto à formulação das questões Bourdieu 1999 nos diz que o pesquisador deve ter cuidado para não elaborar perguntas absurdas arbitrárias ambíguas deslocadas ou tendenciosas Segundo ele as perguntas devem ser feitas levando em conta a sequência do pensamento do pesquisado ou seja procurando dar continuidade na conversação conduzindo a entrevista com certo sentido lógico para o entrevistado Para se obter uma narrativa natural muitas vezes não é interessante fazer uma pergunta direta mas sim fazer com que o pesquisado relembre parte de sua vida Para tanto o pesquisador pode muito bem ir suscitando a memória do pesquisado As formas mais utilizadas em Ciências Sociais para coleta de dados são entrevista estruturada não estruturada aberta semiestruturada dentre outras A escolha de quaisquer técnicas de coleta de dados depende particularmente da adequação ao problema da pesquisa BONI E QUARESMA 2005 p72 Segundo Tanaka e Melo 2001 a entrevista estruturada é o tipo de entrevista que permite maior obtenção de informações Devido a este fato é o método mais aplicado em pesquisas qualitativas Essa propriedade é devida a sua precisão em relação às perguntas a serem questionadas ao entrevistado A entrevista estruturada é elaborada mediante questionário totalmente estruturado ou seja é aquela onde as perguntas são previamente formuladas e temse o cuidado de não fugir a elas O principal motivo deste zelo é a possibilidade de comparação com o mesmo conjunto de perguntas e que as diferenças devem refletir diferenças entre os respondentes e não diferença nas perguntas LODI 1974 apud LAKATOS 1996 A entrevista estruturada ou questionário geralmente é utilizado nos censos como por exemplo os do Instituto Brasileiro de Geografia e Estatística IBGE nas pesquisas de opinião nas pesquisas eleitorais nas pesquisas mercadológicas pesquisas de audiência etc A entrevista não estruturada aberta surge por meio da temática inicial portanto de uma questão ampla que exclui a intenção do entrevistador quanto à intervenção para novos questionamentos ao entrevistado Ela é 79 utilizada quando o pesquisador deseja obter o maior número possível de informações sobre determinado tema segundo a visão do entrevistado e também para obter um maior detalhamento do assunto em questão Além disso a mesma também é utilizada na descrição de casos individuais na compreensão de especificidades culturais para determinados grupos e para comparabilidade de diversos casos MINAYO 1994 Por fim a entrevista semiestruturada é realizada com a elaboração prévia de algumas questões centrais as quais devem englobar todo o conteúdo que se deseja questionar Há também uma maior flexibilidade quanto à inserção de novas perguntas que possam surgir ao longo da entrevista O pesquisador segue um conjunto de questões previamente definidas mas ele o faz em um contexto muito semelhante ao de uma conversa informal Ele deve ficar atento para dirigir no momento que achar oportuno a discussão para o assunto que o interessa fazendo perguntas adicionais para elucidar questões que não ficaram claras ou ajudar a recompor o contexto da entrevista caso o informante tenha fugido ao tema ou tenha dificuldade com ele Esse tipo de entrevista é muito utilizada quando se deseja delimitar o volume das informações obtendo assim um direcionamento maior para o tema intervindo a fim de que os objetivos sejam alcançados BONI e QUARESMA 2005 A principal vantagem da entrevista semiestruturada é que quase sempre produz uma melhor amostra da população de interesse tendo um índice de respostas bem mais abrangente uma vez que é mais comum as pessoas aceitarem falar sobre determinados assuntos SELLTIZ et al 1987 A técnica de entrevista semiestruturada também tem como vantagem a sua elasticidade quanto à duração permitindo uma cobertura mais profunda sobre determinados assuntos A interação entre o entrevistador e o entrevistado favorece respostas espontâneas possibilitando uma abertura e proximidade maior entre eles permitindo ao entrevistador tocar em assuntos mais complexos e delicados 80 Uma entrevista semiestruturada colabora muito na investigação dos aspectos afetivos e valorativos dos informantes que determinam significados pessoais de suas atitudes e comportamentos As respostas espontâneas dos entrevistados e a maior liberdade que estes têm podem fazer surgir questões inesperadas ao entrevistador que poderão ser de grande utilidade em sua pesquisa BONI e QUARESMA 2005 Neste tipo de técnica temse a possibilidade da utilização de recursos visuais como cartões e fotografias que podem deixar o entrevistado mais à vontade e fazêlo lembrar de fatos o que não seria possível por exemplo num questionário SELLTIZ et al 1987 Vale lembrar que a qualidade da entrevista depende muito do planejamento feito pelo entrevistador A arte do entrevistador consiste em criar uma situação onde as respostas do informante sejam fidedignas e válidas SELLTIZ 1987 A situação em que é realizada a entrevista contribui muito para o seu sucesso e o entrevistador deve transmitir acima de tudo confiança ao informante Neste estudo optouse pela entrevista semiestruturada na qual os informantes tiveram a possibilidade de discorrer sobre suas experiências a partir do foco principal proposto pelo pesquisador ao mesmo tempo permitiu respostas livres e espontâneas dos informantes valorizando a atuação do entrevistador As questões elaboradas para a entrevista levaram em conta o embasamento teórico da investigação e as informações que o pesquisador recolheu sobre o fenômeno social TRIVIÑOS 1987 A entrevista semiestruturada foi utilizada tendo como núcleos a concepções de monitoramento b modelo de monitoramento executado pelo PNAE instrumento limites e possibilidades c necessidades de qualificação dos atores envolvidos no processo de monitoramento Os dados pessoais dos entrevistados foram levantados por meio do Formulário de Dados de Identificação do Entrevistado Apêndice 02 e um roteiro foi desenvolvido o qual foi prétestado Apêndice 03 Para a realização 81 das entrevistas cada sujeito assinou um Termo de Consentimento Livre e Esclarecido para o desenvolvimento do estudo Apêndice 01 44 Processo de Análise de Dados A análise das entrevistas buscou apreender os significados atribuídos pelos sujeitos desse estudo por meio da técnica de análise de conteúdo do tipo temática Projetase ao caminho interpretativo proposto por Franco 2008 no qual o trabalho analítico inclui primeiramente uma pré análise em que são feitas repetidas leituras obtendo assim um contato intenso com o material articulando com os questionamentos e os objetivos iniciais da pesquisa criandose núcleos direcionadores que orientarão a interpretação final da pesquisa Em um segundo momento a partir dos núcleos orientadores estabelecidos extraemse unidades de contexto das falas transcritas e também as unidades de registro presentes em cada uma das unidades de contexto No terceiro momento as unidades de registro são agrupadasclassificadas de acordo com seus significados em categorias que direcionarão a finalização da análise Neste estudo após a transcrição das entrevistas e reiteradas leituras estruturouse quadros analíticos por núcleo orientador Apêndice 04 e apreendeuse núcleos de significado Em concepções de monitoramento identificouse acompanhamento planejamento definição de indicadores diferentes funções diagnóstico subsídio controle e dimensão formativa Em modelo e instrumentos de monitoramento foram identificadas as temáticas acompanhamento continuado diagnóstico motivos para o monitoramento atendimento às denúncias dos órgãos de controle processo de coleta das informações questionários definição de indicadores visita in loco sistematização dos dados coletados 82 Em limites e possibilidades identificouse recursos humanos metodologia definição de indicadores acompanhamento continuado caráter fiscalizador autonomia banco de dados formato dos questionários Em necessidade de formação identificouse temáticas relativas à importância da formação conteúdos que deveriam ser explorados nas formações a formação in loco e a demanda por nivelar o conhecimento sobre monitoramento 45 Procedimentos Éticos Este estudo seguiu todas as orientações do Conselho Nacional de Ética na Pesquisa submetendoo para análise e aprovação do Comitê de Ética em Pesquisa da Universidade Federal de São Paulo UNIFESP antes de qualquer processo de coleta de dados Tevese também a concordância da Coordenadora Geral do PNAE de que a pesquisa fosse realizada nas dependências do Fundo Nacional de Desenvolvimento da Educação como expresso no Termo de Autorização Institucional Anexo I 83 5 RESULTADOS E DISCUSSÃO 51 Conhecendo os Participantes Participaram desta pesquisa 10 servidores públicos sendo que 06 deles atuam no PNAE 60 2 são servidores que atuaram no Programa até 2007 20 estando atualmente lotados em outras áreas da Autarquia e 2 são CoordenadoresGerais 20 Figura 03 Distribuição dos participantes Participantes Técnicos do PNAE Técnicos de outras áreas Coordenadores A faixa etária dos participantes variou entre 23 e 55 anos média de 437 anos e 60 dos entrevistados eram do sexo feminino Em relação à formação dos participantes 90 possuem o nível superior sendo que 30 apesar de exercer atividades de nível superior são concursados para o cargo de nível médio No que se refere ao tempo de serviço na Administração Pública observouse que a quase totalidade dos professores 843 relataram atuar há mais de 5 anos onde 2 63 atuam entre 2 a 5 anos como exposto no quadro 07 84 Quadro 07 Tempo de Serviço na Administração Pública Tempo de Serviço N 0 a 6 meses 0 0 6 meses a 1 ano 0 0 1 a 2 anos 3 30 2 a 5 anos 1 10 Mais de 5 anos 6 60 Quando questionados sobre sua formação 6 participantes 666 referiram ter feito especialização e dentre eles apenas 1 1666 possui o título de mestre 52 Conhecendo as Concepções dos Sujeitos 521 Monitoramento Sentidos e Funções A análise das entrevistas dos colaboradoresservidores permitiu apreender diferentes temáticas no escopo dos núcleos direcionadores Em concepções de monitoramento foram identificadas as temáticas acompanhamento planejamento definição de indicadores diferentes funções diagnóstico subsídio controle e dimensão formativa A concepção de monitoramento como acompanhamento pode ser dimensionada nas falas abaixo Acompanhar para ver os erros que se tem num determinado processo e melhorar Entrevistado A 2011 Monitoramento Precisaria ter um acompanhamento do que está sendo orientado do que tá sendo visto Entrevistado D 2011 Remetia a também um acompanhamento a uma espécie de controle da situação que está acontecendo Entrevistado F 2011 85 Acompanhamento dessa execução a partir do momento que eu tenho vários atores envolvidos nessa execução em diferentes níveis Entrevistado F 2011 Observação você teria que acompanhar para ver se foi válida sua ida até o município o que tinha de certo o quê podia melhorar e o de errado para concertar então teria que ter o acompanhamento constante Entrevistado J 2011 O monitoramento situa o significado de planejamento A gente precisa estabelecer uma linha de base para se saber em que situação o município esta no ano X e estabelecer metas de melhorias e ir acompanhando ano a ano para num determinado período estabelecido Entrevistado A 2011 Considerando o projeto que foi traçado na época ele não é cumprido Entrevistado E 2011 Para você ter o planejamento Entrevistado I 2011 Comprometimento com planejamento Entrevistado I 2011 As diferentes funções que o monitoramento assume no PNAE podem ser apreendidas nas seguintes manifestações dos participantes do estudo Consegue verificar efetividade do Programa se aquilo efetivamente está causando impacto na sociedade no alunado ou em qualquer área da esfera Avaliação de efetividade impacto Entrevistado B 2011 No sentido de traçar indicadores de eficiência eficácia até para atender solicitações do Tribunal de Contas da União Definir indicadores Entrevistado E 2011 Através dessa verificação você vai fazer os diagnósticos positivos e negativos Elaborar diagnóstico Entrevistado J 2011 Todo dia ele vinha ali pegava uma amostra fazia uma análise Comparação Controle no monitoramento Amostragem Entrevistado F 2011 Avaliação também tem que ser uma coisa continuada porque se não ela se perde no tempo Continuada Entrevistado B 2011 A concepção do monitoramento Foi no sentido de avaliar as ações do Programa na ponta A diferença monitoramento e avaliação Entrevistado E 2011 Monitorar é ajudar orientar mostrar os erros mostrar o que tá certo Orientação Entrevistado I 2011 86 Monitoramento é dar apoio e suporte a todos os municípios Orientação preventiva Entrevistado J 2011 O tempo todo foi com foco na fiscalização apesar da gente se esforçar muito em mudar o foco de monitoramento Caráter fiscalizador Entrevistado L 2011 Uma demanda muito alta dos órgãos de controle interno e externo da União e do Ministério Público o trabalho de monitoramento acaba sendo uma continuidade de fiscalização que eram feitas por esses órgãos Fiscalização Entrevistado L 2011 Monitoramento pode ser usado como ferramenta de controle Mecanismo de Controle Entrevistado L 2011 Monitoramento era uma ferramenta de controle e eu pelo menos tenho o entendimento que monitoramento é uma ferramenta para avaliação de percurso Instrumento para avaliação Entrevistado L 2011 O monitoramento foi compreendido também dentro de uma dimensão formativa Qualificação mesmo ninguém teve Entrevistado L 2011 As pessoas que realmente trabalhavam no monitoramento não tinham qualificação nenhuma Entrevistado L 2011 Tem que ter capacitação por parte do FNDE Entrevistado J 2011 Uma pessoa que nunca foi no monitoramento tem que ir com outra para aprender Entrevistado I 2011 Eu acho que as coisas só aprendem quando você vai na ponta você só aprende a monitorar se você estiver na ponta Entrevistado I 2011 Vamos pedir um curso específico da área de controle de qualidade para quem está envolvido com monitoramento ou um a respeito de licitações e contratos sabe Eu sinto falta dessa formação Entrevistado L 2011 Falta capacitação falta um treinamento Entrevistado D 2011 As pessoas precisam dessa qualificação Entrevistado D 2011 87 Para unificar o entendimento Entrevistado B 2011 A gente tem a arranjar um jeito de capacitar para todo mundo Entrevistado A 2011 522 Modelos de Monitoramento Em modelo e instrumentos de monitoramento foram identificadas as temáticas acompanhamento continuado diagnóstico motivos para o monitoramento atendimento às denúncias dos órgãos de controle processo de coleta das informações questionários definição de indicadores visita in loco sistematização dos dados coletados A compreensão do monitoramento um processo que deve ter um modelo que privilegie o acompanhamento continuado pode ser dimensionada nas falas abaixo Esse apanhado de conjunto de coisas que nós fazemos no monitoramento é que vai subsidiar para que a gente possa daqui a Ao critério que agente pensasse seis meses ou um ano depois retornar aquele município Entrevistado B 2011 Você fazer o município e depois de um período você retornava no município para verificar se aquele trabalho que você realizou Entrevistado E 2011 O diagnóstico como uma das etapas do modelo de monitoramento adotado no PNAE foi observado nas manifestações que seguem Na região Norte eu tenho esse quadro na região Sul eu tenho esse na região Sudeste eu tenho outro Entrevistado E 2011 Tracei todas essas linhas eu diagnostiquei todos esses problemas hoje Entrevistado E 2011 O que a gente faz é isso a gente vai que eu fiz eu fui analisei a documentação eu visitei escolas e eu fiz entrevistas com base nisso tudo eu tracei um perfil do que estava acontecendo Entrevistado D 2011 No âmbito do modelo de monitoramento os entrevistados identificaram que o mesmo decorre também em virtude de denúncias dos órgãos de controle Forma de fiscalização onde a gente atenda a demanda do TCU e da CGU Entrevistado A 2011 88 Nós vamos para o município para ver denúncia Ministério Público então nós não temos nossa parte nunca nossa parte não está sendo vista Entrevistado I 2011 Denuncia demanda de Ministério Público CGU e TCU Entrevistado J 2011 Atender uma demanda do Ministério Público sobre diversos problemas que havia no município Entrevistado J 2011 Esta motivação para desencadear o processo de monitoramento traz um caráter fiscalizador que foi apontado como oposição ao monitoramento Nós não temos um monitoramento nós temos uma fiscalização Entrevistado I 2011 O que a gente fez foi basicamente uma fiscalização uma investigação Entrevistado F 2011 Podese registrar a necessidade de se estabelecer uma metodologia que seja mais homogênea ao modelo de monitoramento adotado no PNAE Não há padronização mas chega próximo disso para que você oriente uma coisa e seu companheiro oriente outra Entrevistado D 2011 Falta de critérios de seleção de municípios Entrevistado E 2011 Definição melhor dessas ações de um cronograma dentro de um cronograma dentro de um planejamento de ações e em termos de instrumentos de trabalho Entrevistado F 2011 O modelo de monitoramento no PNAE abrange um conjunto de atividades A análise documental que é onde a gente vê Entrevistado J 2011 Aplica o questionário nas escolas Entrevistado J 2011 Com a gestora da escola que no caso é a diretora da escola verifica se também há cozinha estoque e quando a gente tá Entrevistado J 2011 No campo dos instrumentos o questionário como ferramenta características e limites do monitoramento foi observada nas falas 89 Na minha opinião são questionários muito extensos com muitas questões que dificultam até você traçar um indicador Entrevistado E 2011 Eu acho que é um questionário extenso você perde um pouquinho de tempo com ele Entrevistado D 2011 Eu acho que Buscar uma avaliação e traçar inclusive alguns indicadores em um questionário muito aberto ele dificulta Entrevistado E 2011 O processo de aplicação do questionário também foi descrito pelos entrevistados Temos um questionário de CAE que é o nosso Conselho de Alimentação Escolar que também nos dá subsídio para o desenvolvimento do Programa Entrevistado A 2011 Os instrumentos que a gente usa são os questionários Entrevistado D Tem um roteiro Mas chegando na ponta e percebendo a necessidade do município você vê mais Entrevistado J 2011 Basicamente questionários quase todos fechados porque Acho que totalmente fechados porque a idéia que a gente tinha era montar um sistema Entrevistado L 2011 Registrouse como um segundo instrumento do monitoramento a visita in loco nas falas que se seguem O monitoramento era presencial com visitações in loco aplicação de questionário Entrevistado E 2011 O que a gente faz é isso a gente vai que eu fiz eu fui analisei a documentação eu visitei escolas e eu fiz entrevistas com base nisso tudo eu tracei um perfil do que estava acontecendo Entrevistado D 2011 Tanto para a construção dos questionários como par ao roteiro da visita in loco os entrevistados destacaram a necessidade de definição de indicadores emergiu nas falas que se seguem A partir do momento que eu tivesse alguns indicadores de eficiência eficácia e efetividade através de todas as ações do PNAE Entrevistado B 2011 Eu penso que essas entrevistas deveriam fazer um modo indicadores pode até falar indicadores poderia ser informações tirar conteúdos informações sobre aquilo mapear isso Entrevistado I 2011 90 Os entrevistados registraram ainda crítica ao trabalho de sistematização dos dados coletados no monitoramento Chega aqui ele questionário não é tabulado Entrevistado A 2011 Eu não tenho um banco de dados eu não tenho informações Entrevistado A 2011 A gente não consegue pelo menos que eu tenha conhecimento isso tabulado Entrevistado A 2011 A demanda do retorno documental Eu acho que ele não foi bem acompanhado Entrevistado E 2011 523 Limites e Possibilidades do Monitoramento No núcleo direcionador de limites e possibilidades foram identificadas as temáticas ausência de planejamento recursos humanos metodologia definição de indicadores acompanhamento continuado caráter fiscalizador formato dos questionários A ausência ou o descumprimento do Planejamento pode ser entendido como um dos limitantes do monitoramento nos registros que se seguem Até porque o planejamento desse ano a gente já começou sem indicar municípios para monitorar Entrevistado A 2011 As dificuldades que eu acho é mais na questão do planejamento Entrevistado E 2011 Falta de planejamento Entrevistado E 2011 Eu preciso além de ter um controle um planejamento dessas ações eu preciso que isso aconteça não só uma previsão orçamentária Entrevistado F 2011 Cumprir o planejado por todo planejamento estratégico Entrevistado I 2011 Não existe o comprometimento com o monitoramento Entrevistado I 2011 Se faz um planejamento arranjase tudo e daqui a pouco isso morre Entrevistado I 2011 É a falta de cumprimento desse monitoramento Entrevistado I 2011 91 O relatório fica seis meses para ser devolvido e o município está esperando Entrevistado I 2011 A escassez de Recursos humanos nas manifestações dos participantes do estudo emergiu como um obstáculo na execução do monitoramento Falta de recursos humanos Entrevistado B 2011 Precisa de um apoio precisa de mais qualificação e precisa que todo mundo tenha uma mesma direção Entrevistado D 2011 Temos um problema Pessoal para atender a todas as demandas Entrevistado F 2011 Uma dificuldade é sempre a de pessoal Entrevistado F 2011 Tinha pouco pessoal disponibilidade orçamentária era baixa para fazer esse tipo de trabalho Entrevistado L 2011 Neste Núcleo Direcionador ficou evidente que a ausência de Definição de indicadores dificulta a execução do monitoramento fato evidenciado nas falas que se seguem A falta de definição dos indicadores Entrevistado E 2011 Eu não consigo propor indicadores para execução do programa mas se eu tenho dificuldades de alimentar os meus indicadores Entrevistado E 2011 Nos trechos abaixo podese observar que uma das dificuldades para a execução de um monitoramento é o não acompanhamento continuado Nós fizemos a fiscalização e não sabemos se aquilo que deixamos anotado se aquelas questões que nós levantamos foram cumpridas Entrevistado A 2011 Parte do monitoramento que nós fazemos digamos à distância por meio dos ofícios da documentação eu não vejo esse acompanhamento acontecendo Entrevistado F 2011 A concepção de monitoramento como fiscalizador apareceu como limitante nas falas No caráter de fiscalização não por parte de um acompanhamento e quando você aciona o Conselho de Alimentação Escolar aqui daqui de Brasília por meio de documentação e você não tem essa resposta é como se aquilo parasse por ali você não tem a continuidade desse acompanhamento Entrevistado F 2011 92 Outro limitante registrado nas falas abaixo destacadas é a falta de Autonomia da coordenação responsável pelo monitoramento do Programa O ideal seria uma coordenação de monitoramento mesmo Entrevistado J 2011 Se você não tem uma coordenação ali direta Isso atrapalha ainda mais falta não sei se seria autonomia Entrevistado D 2011 O formato dos questionários também é um obstáculo para cumprimento dos objetivos do monitoramento a avaliação Os questionários a gente modificava ele a cada tempo porque a gente estava sempre achando que ainda não era aquilo que a gente queria Entrevistado L 2011 O nosso principal instrumento é o questionário eu acho que é uma questão de se sentar para acertar esse questionário Entrevistado F 2011 Das falas dos entrevistados podese inferir a existência de espaços que permitem a potencialização dos processos no monitoramento Questionários que foram elaborados pelas equipes do PNAE Aplicação de questionários Entrevistado A 2011 Esse apanhado de conjunto de coisas que nós fazemos no monitoramento é que vai subsidiar para que a gente possa daqui aao critério que agente pensasse seis meses ou um ano depois retornar aquele município Acompanhamento continuado Entrevistado B 2011 O que a gente faz é isso a gente vai que eu fiz eu fui analisei a documentação eu visitei escolas e eu fiz entrevistas com base nisso tudo eu tracei um perfil do que estava acontecendo Diagnóstico visita in loco Entrevistado D 2011 Tudo começa na licitação você tem que ver como comprou tem que mostrar para o gestor que aquele dinheiro que tá ali tem que ser bem utilizado Visita in loco Entrevistado I 2011 Aplica o questionário nas escolas Aplicação de questionário Entrevistado J 2011 Basicamente questionários quase todos fechados porque Acho que totalmente fechados porque a idéia que a gente tinha era montar um sistema Aplicação de questionários Sistematização de dados Elaboração de um sistema de informação Entrevistado L 2011 Precisasse dar um retorno para a prefeitura Dar uma orientação a mais Acompanhamento continuado Entrevistado L 2011 93 Outra possibilidade explicitase criação de um sistema informatizado de monitoramento com uma metodologia específica além de investimento em capacitação Temos um questionário de CAE que é o nosso Conselho de Alimentação Escolar que também nos dá subsídio para o desenvolvimento do Programa Aplicação de questionários Entrevistado A 2011 Tracei todas essas linhas eu diagnostiquei todos esses problemas hoje Diagnóstico Entrevistado B 2011 A maioria das entrevistas é feita com base nos questionários Aplicação de questionários Entrevistado D 2011 Você fazer o município e depois de um período você retornava no município para verificar se aquele trabalho que você realizou Acompanhamento continuado Entrevistado E 2011 Uma reunião geral com o Gestor no caso o Secretário de Educação o CAE e o RT Visita in loco Entrevistado A 2011 Com a gestora da escola que no caso é a diretora da escola verifica se também há cozinha estoque e quando a gente tá Visita in loco Entrevistado J 2011 O intuito das perguntas fechadas era depois você estar tabulando e estar avaliando Sistematização de dados Entrevistado L 2011 524 Necessidade de Formação aprendendo para monitorar No núcleo direcionador de necessidade de formação identificaram se temáticas relativas à importância da formação conteúdos que deveriam ser explorados nas formações a formação in loco e a demanda por nivelar o conhecimento sobre monitoramento A temática Formação se apresentou como necessária aos sujeitos envolvidos na atividade de monitoramento de acordo com os discursos abaixo Precisamos de embasamento mais técnico Entrevistado A 2011 Falta capacitação falta um treinamento Entrevistado D 2011 Eu cheguei no local sem saber basicamente nada Entrevistado D 2011 Os servidores não estão preparados para a realização do monitoramento Entrevistado E 2011 94 Tem que ter capacitação por parte do FNDE Entrevistado J 2011 Tem que conhecer o Programa e saber como ele funciona por dentro Entrevistado L 2011 Vários foram os conteúdos destacados pelos entrevistados para programas de formação Assim na área processo licitatório elaboração de relatório documentos Entrevistado B 2011 Tem situações que se confunde um pouco com auditoria Tem que analisar procedimentos licitatórios hoje tem a questão da compra da agricultura familiar que é consulta pública Entrevistado E 2011 Ele precisa pelo menos uma noção uma idéia a questão da higiene as práticas da vigilância sanitária Entrevistado E 2011 Então uma formação primeiro de concepção com os técnicos Entrevistado F 2011 Orientar nisso e nisso até aquela legislação de controle de qualidade mesmo da ANVISA Entrevistado F 2011 Eu tenho uma deficiência também na questão documental Entrevistado F 2011 Vamos pedir um curso específico da área de controle de qualidade para quem está envolvido com monitoramento ou um a respeito de licitações e contratos sabe Eu sinto falta dessa formação Entrevistado F 2011 Agricultura familiar Parece que sempre surge uma dúvida Entrevistado J 2011 Um destaque significativo também pode ser detectado na temática Formação prática in loco Eu fiz a opção Colocar uma pessoa que eu achasse que estivesse qualificada com quem não estivesse qualificada para aprender Entrevistado B 2011 Você só aprende na ponta você aprende o processo Você só aprende se olhar o processo Entrevistado I 2011 Agora aprender monitoramento por curso Não existe Pra mim isso não existe ou você vai lá e aprende na marra Entrevistado I 2011 O nivelamento do conhecimento emergiu significativamente nas falas 95 A gente tem pessoas que tem nível de formação diversa pessoas com tempo de programa diferenciado com experiências diferenciadas Entrevistado A 2011 Tem servidores que são mais qualificados que outros Entrevistado E 2011 Tem servidor que independente do tempo de serviço tem mais qualificação do que um servidor que esta há mais tempo Entrevistado E 2011 O estabelecimento de uma metodologia de formação se faz necessário tendo em vista os apontamentos abaixo registrados Esse preparar envolve todo um processo de formação que também não é uma coisa que dá para se esperar de um dia para o outro É um processo Entrevistado F 2011 Capacitando melhor e definindo melhor os critérios e o que se busca realmente com o monitoramento Entrevistado E 2011 53 Discutindo os Dados A análise das entrevistas possibilitou a observação de dados importantes para a melhor compreensão do processo de monitoramento no Programa Nacional de Alimentação Escolar As falas refletem experiências cotidianas de atuação dos técnicos nesse processo e podem contribuir para indicar novas dimensões de problemáticas e abordagens no monitoramento 531 Monitoramento como acompanhamento e planejamento No Núcleo 1 Concepções de Monitoramento podese identificar pelas falas dos entrevistados a necessidade de relacionar o conceito de monitoramento ao acompanhamento e planejamento Buvinich 1999 apresenta como ação principal do monitoramento o acompanhamento a vigilância das atividades desenvolvidas pois é necessário se conhecer os problemas que a execução do Programa apresenta e os resultados das ações com os quais se pretende enfrentálos Para monitorar um Programa é necessário conhecer o problema demarcálo e medilo com rigor de modo a conhecer suas principais determinações e desenhar ações específicas com o poder de eliminar ou minimizar as causas fundamentais que o geram Entretanto para que o 96 monitoramento das ações e sua posterior avaliação ocorram de forma consequente e oportuna é preciso definir bem os problemas e ter ações bem estruturadas Esses dois aspectos serão ambos identificados por precisos e detalhados indicadores pois sem isso teremos apenas tentativas de acompanhamento e avaliações superficiais sob a forma de relatórios desfocados dos processos reais A segunda concepção apresentada pelos participantes do estudo relaciona monitoramento com planejamento Puppim 2006 analisa conceitualmente as diversas maneiras de se pensar planejamento particularmente com respeito a políticas públicas Esse autor foca principalmente os problemas de planejamento nos chamados países em desenvolvimento em especial no Brasil Esses problemas estão relacionados à ênfase dada ao tecnicismo à burocracia de formulação e controle e às previsões dos economistas Isso tende a colocar sombra na parte mais importante do planejamento o processo de decisão que é uma construção política e social Aponta também que o planejamento em políticas públicas tem de ser visto como um processo e não como um produto técnico somente A importância do processo está na sua implantação pois esta é que vai levar aos resultados finais das políticas programas ou projetos Segundo Puppin 2006 o planejamento é um processo de decisão políticosocial que depende de informações precisas transparência ética temperança aceitação de visões diferentes e vontade de negociar bem como de se procurar soluções conjuntas que sejam aceitáveis para toda a sociedade principalmente para as partes envolvidas levando continuamente ao aprendizado Nesse sentido mecanismos de gestão da implantação dos planos são priorizados com o intuito de garantir que o que foi indicado no plano vai ser implementado Esses mecanismos incluem monitoramento auditorias e reuniões técnicas de acompanhamento Puppin 2006 alerta que planejamentos costumam falhar em razão da ênfase que no Brasil esse processo é muito visto como forma de controle 97 da economia e da sociedade em vez de vêlo como um processo de decisão construído política e socialmente com os diversos atores interessados e afetados pela decisão Entretanto ele ressalta que essa construção tem que ser baseada em informações precisas e capacidade de articulação e compreensão do processo e dos temas debatidos pelos diversos atores envolvidos Nesse sentido percebese que o planejamento representa a base para que o processo de monitoramento consiga cumprir seus objetivos iniciais e as expectativas de aperfeiçoamento do Programa Para cobrir a amplitude dessa política pública em termos de monitoramento tornase necessário um plano detalhado de ações que orientem os técnicos no processo de seleção dos municípios ou Estados a serem visitados da coleta de informações e sistematização de dados de capacitação de definição de indicadores e aplicação de questionários No que concerne aos diferentes papéis que o processo de monitoramento do PNAE assume diante das falas que emergiram dos entrevistados puderam ser observadas duas temáticas principais avaliação e fiscalização Para iniciar a análise desse tema vale citar Minayo 2005 que define a avaliação como um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto proposta ou programa e dentro dos vários sentidos que esse processo apresenta o mais importante é o de fortalecer o movimento de transformação em prol da cidadania e dos direitos humanos Segundo Borba et al 2009 p 5 o papel da avaliação precisa transcender a avaliação ou controle abrangendo uma intensa reflexão que deve ser feita com todos os envolvidos no processo Cabe ao monitoramento o levantamento de informações que leve ao aprendizado suscitado pela avaliação O resultado da avaliação deve servir como referência para que os envolvidos no processo se orientem tomem decisões e modifiquem suas posturas 98 Contandriopoulos 1997 enfatiza que a avaliação deve ser incluída no processo de planejamento das ações afirmando que a avaliação bem feita poderá reduzir incertezas melhorar a efetividade das ações e propiciar a tomada de decisões relevantes Para Thereza Penna Firme 1994 as verdadeiras avaliações são aquelas que subsidiam decisões que procuram resolver preocupações e problemas dos que conduzem políticas programas ou projetos que examinam e julgam a ação governamental e que se dirigem também ao usuáriobeneficiário concentrandose nos valores e necessidades sociais Avaliação se aproxima do monitoramento na medida em que deveria se utilizar de dados levantados durante o monitoramento para compor a sua análise Ela precisa de uma série de fontes de dados que podem ser levantados pelo monitoramento Uma boa avaliação depende de um bom monitoramento Essas fontes de dados relacionamse a definição de indicadores que devem estar presentes no processo de monitoramento As ações a serem desenvolvidas no PNAE devem ser acompanhadas de indicadores pertinentes adequados úteis para quem as coordena e portanto passíveis de ser analisados e avaliados para se necessário corrigilas O monitoramento contribui para a avaliação e esta servirá para corrigir ou confirmar o trajeto das ações com o intuito de atingir as metas traçadas No segundo momento analisando as manifestações que relacionam fiscalizaçãocontrole ao monitoramento percebese que há o questionamento constante sobre a natureza das ações de monitoramento no PNAE no sentido de que o caráter fiscalizador seria o predominante Ao longo dos anos com as necessidades precípuas de certas políticas públicas brasileiras o monitoramento parece emergir dessa solicitação de fiscalização com intuito de atender às demandas dos órgãos de controle que se tornaram mais frequentes Esse caráter fiscalizador é visto como um dos limites para um monitoramento efetivo pois tem uma dimensão de resposta que exclui 99 normalmente o acompanhamento continuado que pode fornecer dados mais específicos para o tratamento dos indicadores do processo de monitoramento A fiscalização pode gerar a punição mas não necessariamente a correção do problema o que poderia ser melhor tratado se houvesse uma visita constante a planos de trabalho no intuito de redimensionálo de acordo com as demandas do monitoramento Atualmente o monitoramento do PNAE se dedica muito a responder demandas dos órgãos de controle que acabam por definir as Entidades Executoras que devem ser visitadas Isso resulta na ausência de critérios mais específicos para direcionar o processo de monitoramento Dessa forma a definição de indicadores específicos para esse processo pode ser comprometida não sendo possível a produção de informações apropriadas e no ritmo adequado para a tomada de decisões No campo aplicado das políticas públicas os indicadores sociais são medidas usadas para permitir a operacionalização de um conceito abstrato ou de uma demanda de interesse programático Os indicadores apontam indicam aproximam traduzem em termos operacionais as dimensões sociais de interesse definidas a partir de escolhas teóricas ou políticas realizadas anteriormente Prestamse a subsidiar as atividades de planejamento público e a formulação de políticas sociais nas diferentes esferas de governo possibilitam o monitoramento das condições de vida e bemestar da população por parte do poder público e da sociedade civil e permitem o aprofundamento da investigação acadêmica sobre a mudança social e sobre os determinantes dos diferentes fenômenos sociais MILES 1985 NAÇÕES UNIDAS 1988 O monitoramento é o instrumento que o gestor utiliza para levantar uma série de dados necessários para se realizar a avaliação de uma política pública Uma boa avaliação depende de um bom monitoramento Ele geralmente utiliza dados internos e busca analisar o cumprimento dos objetivos e metas previstos Faria define bem essa atividade É o fazer certo as coisas posto que as atividades de monitoramento permitem intervir no processo de execução corrigindo os rumos cada vez que os desvios são detectados E acrescenta corrigir rumos nas atividades de monitoramento não quer dizer apenas intervir sobre os conteúdos de um programa mas significa ou pode significar modificar cenários jurídicoadministrativos financeiros 100 organizacional bem como requalificar os recursos humanos a cargo dos trabalhosgrifo nosso FARIA 1999 p 4445 No que diz respeito ao processo de aprendizagem ele também é inerente à avaliação no sentido de que o resultado da avaliação deve servir como referência para que os envolvidos no processo se orientem tomem decisões e modifiquem suas posturas Como apontam Borba et al 2009 p 5 o papel da avaliação precisa transcender a avaliação ou controle abrangendo uma intensa reflexão que deve ser feita com todos os envolvidos no processo Cabe ao monitoramento o levantamento de informações que leve ao aprendizado suscitado pela avaliação Minayo 2005 ao se referir a um dos objetivos citados por Contandriopoulos e outros CONTANDRIOPOULOS et al 1997 COSTA REIS 2004 POSAVAC e CAREY 2003 que guiam uma boa avaliação ou seja responder aos interesses das instituições de seus gestores e de seus técnicos ressalta que se faz necessário que gestores e técnicos entendam a avaliação como parte de seu planejamento e de sua prática cotidiana Isso também significa criar espaços permanentes de reflexão sobre a prática permitindo a desconstrução de idéias alinhamento de conceitos correção de rumos mudança de prioridades abandono de iniciativas infrutíferas e até troca gestores Após a apresentação dessas principais temáticas podese entender que a concepção de monitoramento no PNAE pode ser entendida como um acompanhamento continuado e planejado com base em indicadores definidos que permitam auxiliar na elaboração de diagnósticos mais precisos fornecer subsídios para as ações do Programa e contribuir para o controle da gestão com investimentos frequentes na dimensão formativa dos envolvidos no PNAE Nesse sentido falas que remetem à idéia do monitoramento como uma ação formativa que indica a necessidade de melhor qualificação dos técnicos na realização do monitoramento 101 532 O Lugar da Definição de Indicadores para o Monitoramento Continuado e Planejado Nas entrevistas as falas focaramse em ressaltar a definição de indicadores como ação necessária para o bom acompanhamento continuado e planejamento Como mencionado vale ressaltar que os indicadores apontam os movimentos significativos de todas as variáveis técnicas e politicamente relevantes para a condução estratégica de um plano programa projeto ou instituição Ele deve mostrar movimentos que precisamos conhecer mas que não podemos observar diretamente sendo obtidos pelo processamento de informações relativas aos aspectos importantes dos processos que compõem a realidade problemática e às ações com que se busca mudála Toda política pública tem de ser mensurada e os indicadores podem fornecer parâmetros para a sua mensuração A partir da definição dos indicadores temse elementos essenciais para a construção de um processo de monitoramento com a utilização de diagnósticos detalhados e informações diversas Esses dados servem de subsídio para elaboração de planos de ação mais ajustados às realidades locais e necessidades institucionais da implementação do Programa Manuel Buvinich 1999 afirma que o monitoramento envolve a coleta de informação sobre insumos produtos atividades e circunstâncias que são críticas e relevantes para a efetiva implementação do programa ou projeto Por meio dela o monitoramento analisa e verifica num processo contínuo se os recursos e as atividades se estão implementando segundo o programado e se as metas sobre resultados estão sendo alcançadas ou não indicando ao mesmo tempo as razões de sucesso e insucesso As informações e sugestões coletadas pelo monitoramento e entregues à gerência do programa possibilita a verificação e o progresso da implementação a fim de tomar as decisões cabíveis no sentido de que as metas programadas sejam alcançadas eou ajustadas O monitoramento requer a produção sistemática e automatizada de informações relevantes precisas e sintéticas Informações são oportunas para 102 se avaliar cada ação do processo com as particularidades que lhes são próprias Entretanto essas informações existirão apenas quando a ação tiver sido desenhada e programada de forma a permitir que se cumpra a exigência de produzir informações apropriadas e a um ritmo adequado à tomada de decisões Segundo Garcia 2001 isso se consegue criando condições favoráveis técnicas e informacionais para se estabelecer a obrigatoriedade do registro das informações necessárias que compõem o sistema de monitoramento Informações que em larga medida serão elaboradas no processo de produção de ações Isso também demanda investimento em formação 533 Monitoramento no PNAE Modelo e Instrumentos No núcleo de modelo e instrumentos de monitoramento percebeu se que o modelo referenciado pelas falas das entrevistas aponta para uma atuação prática que envolve uma revisão constante das informações principalmente por meio da aplicação de questionários visitas in loco e sistematização dos dados coletados Os dados devem ser tratados com a criação de um sistema de monitoramento informatizado que permite aos diferentes atores em todos os níveis da federação o acesso e a complementação de informações Esse modelo pode ser tangencialmente orientado pelo mapeamento das principais ocorrências das denúncias dos órgãos de controle mas não se limitariam a elas Nesse modelo a revisão e complementação constante das informações são essenciais para a alimentação do processo de monitoramento Garcia 2001 ressalta que os sistemas de informações tradicionais baseados em estatísticas e em registros descontínuos e inorgânicos muitas vezes quase aleatórios tentam oferecer muita informação não pertinente e não processada Desse modo pode haver um acúmulo de informações podem resultar na desinformação do dirigente por exemplo muitas antenas anulam a capacidade e nitidez de recepção da informação que importa o que pode gerar 103 confusão quanto à massa de informação presente na base que é a matéria prima informativa que deve ser processada pelo monitoramento O sistema de monitoramento deve ser capaz de manejar em forma ágil e flexível uma grande massa de informação sobre a gestão de uma organização pública reduzindo esta grande massa que desinforma por sobrecarga de dados a um grupo reduzido de sinais e informação filtrada e inteligente MATUS 1994 que permite a tomada de decisões com rapidez e maior segurança Em razão descentralização dos recursos financeiros às Entidades Executoras para a execução do PNAE a Administração do FNDE com o auxílio de uma consultoria especializada ao longo de ano de 2000 iniciou o planejamento de um sistema de informação Esse sistema foi estruturado na forma de software cujo propósito inicial era servir de ferramenta de trabalho e ser disponibilizado aos Conselhos com o intuito de auxiliálos no exercício de suas atribuições de acompanhar e monitorar a execução do Programa Esse auxílio aconteceria desde o momento em que os recursos financeiros federais fossem depositados na conta bancária da Entidade Executora até a oferta da alimentação escolar aos alunos Entretanto com a necessidade de oferecer respostas quanto à avaliação de desempenho do Programa aos órgãos de controle interno e externo do Governo Federal o sistema passou a incorporar a função de avaliação sem contudo ter sofrido as devidas adaptações no âmbito do FNDE RODRIGUES 2005 534 Limites e Possibilidades do Monitoramento no PNAE No núcleo direcionador de limites e possibilidades identificouse que os principais limites ao processo de monitoramento são ausência de planejamento escassez de recursos humanos falta de metodologia a ausência de definição de indicadores a falta de acompanhamento continuado caráter fiscalizador a estrutura atual dos questionários e sua correspondência com as realidades encontradas 104 No que concerne a ausência de planejamento Puppim 2006 explica que um dos motivos que leva a falhas nos resultados de políticas públicas é a dissociação que se faz entre elaboração e implementação no processo de planejamento de acordo com algumas visões da prática ou escolas de pensamento Puppim 2006 apresenta uma visão de planejamento mais atual que confere total ênfase na participação da população ou sociedade civil na implementação dos planos Essa visão está em moda nos últimos anos principalmente com as organizações multilaterais e alguns setores do governo Nessa visão os beneficiários têm que ajudar a monitorar o projeto denunciar participar de assembléias etc Muitas vezes criamse conselhos populares para decidir e acompanhar ou chamam a sociedade e empresas para ajudar Um exemplo é a Estratégia Fome Zero do Governo Federal PUPPIM 2006 Apesar de os normativos que regem o Programa estabelecerem como competência do FNDE o acompanhamentomonitoramento e avaliação do PNAE esta ação tem sido prejudicada pela escassez de recursos humanos Desde a descentralização dos recursos financeiros às Entidades Executoras no final de 1998 o FNDE não possui recursos orçamentários e financeiros específicos para executar atividades de monitoramento tampouco servidor em quantidade suficiente para enfrentar o desafio de acompanhar e monitorar os 5565 municípios e os 27 estados brasileiros que atendem diariamente cerca de 47 milhões de alunos FNDE 2008 A escassez de recursos humanos foi um dos limitantes apontado pelos participantes do estudo Desde a época do expresidente Fernando Henrique Cardoso a ausência de concurso público para renovação de servidores o crescimento do Programa e o aumento das demandas dos órgãos de controle resultam na ausência de estrutura adequada para a realização das atividades de monitoramento Esses fatores contribuem para dificultar as discussões sobre o planejamento e a definição de metodologia específica para orientar os técnicos em suas ações 105 A ausência de um método ou seja de um processo que descreva como deve se realizar o processo de monitoramento do PNAE acarreta falta de uniformização de procedimento que interfere nos dados coletado e na atuação dos técnicos Durante o processo de coleta e sistematização dos dados é necessário o cumprimento de determinados requisitos de validade e confiabilidade tendo em vista a busca por maior precisão da avaliação Segundo Aguilar e AnderEgg 1994 a preocupação deve estar presente desde o processo de escolha e delineamento da metodologia e das técnicas de coleta de dados No monitoramento como instrumento para se realizar a avaliação a ausência de um método definido pode levar a informações insuficientes e irrelevantes Aguilar e AnderEgg 1994 ressaltam que é indispensável o cuidado com as informações colhidas tanto quanto a sua relevância pertinência como sua suficiência tendo em vista a realização de uma valoração ou um julgamento adequadamente fundamentado Rossi et al 1999 conferem importância ao método científico a favor da busca de efetividade dos programas e da institucionalização dos resultados do processo Nesse ponto assemelhase as dimensões delineadas por Aguilar e AnderEgg 1994 e por Contandriopoulos et al 1997 que buscavam separar o que consideram avaliação normativa e pesquisa avaliativa Mensurar melhorias em programas envolve definição de indicadores a fim de que se tenha padrões específicos de comparação da condição inicial com a posterior A falta de definição de indicadores foi ponto de destaque nas falas dos entrevistados como aspecto essencial a ser repensado para o aperfeiçoamento do processo de monitoramento do PNAE Um dos pontos ressaltados foi a necessidade de que o gestor esteja bem informado pois informações são as fontes para os indicadores Isso contribui também para o planejamento e definição de um método duas temáticas importantes para a definição dos indicadores 106 Conduzir planejamento no âmbito governamental dirigir uma instituição pública gerenciar um programa exige conhecer a evolução da situação problemática enfrentada e avaliar os resultados das ações desenvolvidas para modificálo a tempo Os indicadores apontam os movimentos significativos de todas as variáveis técnicas e politicamente relevantes para a condução estratégica de um planejamento programa projeto ou instituição Devem mostrar movimentos que precisamos conhecer mas que não podemos observar diretamente sendo obtidos pelo processamento de informações relativas aos aspectos importantes dos processos que compõem a realidade problemática e às ações com que se busca mudála Assim para monitorar é imprescindível que o problema esteja bem definido as ações bem desenhadas e programadas utilizando para medir indicadores claros e objetivos passíveis de serem trabalhados Não há como monitorar o que não for medido portanto os indicadores são instrumentos fundamentais para tornar possível uma ação efetiva de monitoramento A partir das demandas da CGU os técnicos do PNAE viram a necessidade de se criar roteiros instrumentos de trabalhos com o intuito de auxiliar a verificação da execução do programa pelas Entidades Executoras Estes roteiros foram construídos abarcando a legislação vigente à época no formato de questionários e tinham como finalidade auxiliar os técnicos no momento da visita Não era um instrumento fechado pois se diante de um questionamento houvesse a necessidade de se fazer outros o técnico tinha a liberdade de fazêlo e ainda registrar tanto pergunta quanto resposta no instrumento Desde então os questionários com questões que contemplem as determinações impostas pela legislação vigente são utilizados como instrumentos de trabalho dos técnicos A análise desses questionários fica registrada em relatórios de monitoramento para acompanhamento continuado Após a apresentação dos limites observados ao processo de monitoramento tornase importante apresentar algumas possibilidades Nessa 107 temática não há uma clara identificação de elementos porém de algumas falas podese inferir a indicação de espaços específicos em que o processo de monitoramento poderia ser potencializado A análise das possibilidades indica que a necessidade de formação é aspecto recorrente nas falas dos entrevistados e também condição para que as possibilidades possam resultar em melhorias permanentes ao processo de monitoramento do PNAE 535 Necessidade de Formação Uma Demanda uma Exigência para um Bom Monitoramento As entrevistas indicaram que a formação no monitoramento deveria ter um caráter continuado que envolvesse todos os agentes da gestão e execução com conteúdos diversificados nutrição licitação e contratos vigilância sanitária controle social educação gestão de recursos agricultura familiar no intuito de constituir uma equipe mais nivelada com padrões mínimos definidos Interessante ressaltar que os sujeitos envolvidos na atividade de monitoramento requerem a formação pois entendem que essa temática é essencial para o êxito do trabalho diário além de preparálos para os desafios encontrados nas visitas in loco Esse treinamento continuado poderia ainda contribuir para o aperfeiçoamento de instrumentos importantes do monitoramento o questionário e o relatório Esses se apresentam como peças chaves para o planejamento de ações o levantamento de dados a revisão de atividades possíveis atualizações na legislação e a execução do Programa As falas não conseguiram avançar muito no que seria a construção de uma formação continuada nas diversas dimensões do Programa que resultasse em um maior nivelamento da equipe e dos agentes envolvidos na gestão e execução do PNAE na área de monitoramento Não houve uma proposta de formação e pouco se falou sobre o conteúdo específico que deveria ser trabalhado nessa formação O intuito desse trabalho não é avançar nesse tópico mas ressaltar a necessidade de que o processo de 108 monitoramento do PNAE tenha um viés forte de formação a fim de que os resultados sejam obtidos da melhor maneira 109 6 CONSIDERAÇÕES FINAIS O aprimoramento das políticas públicas brasileiras demanda cada vez mais a busca de instrumentos de monitoramento que permitam o acompanhamento continuado das atividades e uma melhor comunicação entre os diversos níveis de implementação federal estadual e municipal Monitorar contribui para a melhoria constante dos programas pois permite aos gestores e executores um contato constante com as fraquezas e as fortalezas das ações Esta pesquisa buscou estudar e analisar o processo de monitoramento do PNAE em suas nuances de forma a permitir que haja novas contribuições nessa temática no sentido de se desenvolver um processo mais representativo das novas relações entre os atores envolvidos A análise dos dados permitiu dimensionar que o monitoramento de políticas públicas significa um acompanhamento permanente sobre determinada ação ou programa público que não ocorre depois que a ação termina mas durante sua execução Esse instrumento visa auxiliar na melhoria no ajustamento de rumos em direção a um monitoramento melhor estruturado Para isso é necessário que se verifique se há relação entre o que foi planejado e o que está sendo executado bem como se o que foi planejado é válido ou relevante Também serve para a identificação de problemas ou dificuldades para implementar as ações planejadas e por último para auxiliar na prestação de contas dos recursos públicos investidosaplicados A investigação possibilitou também situar que o monitoramento é um instrumento utilizado para que se possa avaliar uma política pública para isso é preciso ter fontes de dados relacionados com a definição de indicadores os quais devem estar presentes no processo de monitoramento Eles têm que ser adequados pertinentes passíveis de ser analisados e avaliados A partir da definição dos indicadores formamse elementos essenciais para a construção de um processo de monitoramento com a utilização de diagnósticos detalhados e informações diversas 110 Um dado importante abrange a informação como uma medida reconhecida socialmente ter confiabilidade das fontes de coleta e de produção de informações ter regularidade permitindo um acompanhamento sistemático e comparação ao longo do tempo Precisa ainda ter abrangência para aumentar o grau de comparação Sem a informação podemos no máximo opinar dizer o que achamos sem ter a certeza O estudo em foco evidenciou que para se executar o monitoramento de uma política pública é necessário um acompanhamento constante contínuo técnico coleta de informações permanentes podendo ser utilizados métodos qualitativos eou quantitativos uma vez que cada um possui instrumentos precisos e específicos No caso específico os principais instrumentos de monitoramento ressaltados nas entrevistas foram os questionários as visitas in loco e a elaboração de relatório Esta pesquisa identificou que a sistemática atualmente adotada possui características que se aproximam mais de uma fiscalização acompanhada do que um monitoramento voltado para uma avaliação do programa Os limites foram os componentes mais destacados pelos entrevistados que indicaram aberturas no processo que podem ser tratadas como possibilidades de desenvolvimento e reestruturação do processo de monitoramento A falta de treinamento para os agentes do monitoramento apareceu como primeiro ponto dos limites atuais que o PNAE enfrenta no monitoramento As entrevistas capturaram elementos que permitiram compor uma concepção de monitoramento que pode auxiliar e orientar o trabalho da CoordenaçãoGeral do PNAE Essa concepção envolve o acompanhamento contínuo com a elaboração de um método planejamento de ações e definição de indicadores capazes de mensurar os resultados das atividades desenvolvidas A pesquisa realizada pode contribuir na análise das potencialidades e nós críticos que devem ser enfrentados para que o processo seja 111 aperfeiçoado e consiga responder melhor aos desafios contemporâneos do PNAE 112 7 APRENDENDO COM A PESQUISA O desenvolvimento desta pesquisa foi norteado pela preocupação em fornecer subsídios no sentido de propor modificações no processo de monitoramento do PNAE Nesse sentido apresentase para avaliação e contribuições o produto Proposta de Reestruturação do Monitoramento Do PNAE 113 PROPOSTA DE REESTRUTURAÇÃO DO MONITORAMENTO DO PNAE VAMOS REPENSAR PROPOSTA DE REESTRUTURAR O MONITORAMENTO DO PNAE Essa proposta é um produto gerado a partir da dissertação de mestrado denominada O processo de Monitoramento do Programa Nacional de Alimentação Escolar Mestranda Cássia Augusta Amaral Buani Orientadora Profª Drª Sylvia Helena Batista São Paulo 2011 114 1 APRESENTAÇÃO Este passo a passo tem por objetivo orientar os responsáveis pelo Processo de Monitoramento do PNAE no tocante às etapas necessárias para se realizar o seu monitoramento e sua avaliação O Programa Nacional de Alimentação Escolar PNAE conduzido pelo Fundo Nacional de Desenvolvimento da Educação conta com um processo de monitoramento da execução de suas ações que tem se deparado com o desafio de acompanhar e monitorar os 5565 municípios e os 27 estados brasileiros Entidades Executoras do Programa que atendem diariamente cerca de 47 milhões de alunos FNDE 2008 A importância social e o atual estágio de amadurecimento do Programa poderiam ser ainda mais significativos com a aplicação e o fortalecimento de ferramentas de monitoramento e de avaliação das ações compreendidas nessa iniciativa Tal estratégia contribuiria para um processo decisório mais efetivo um aprendizado institucional aperfeiçoado bem como um aumento da transparência pública Com vistas a colaborar para o aperfeiçoamento do Processo de Monitoramento do PNAE este estudo desenvolveu um passo a passo que visa auxiliar na reestruturação desse processo Importante ressaltar que monitoramento do PNAE deve ser contínuo para retroalimentar o ciclo de ajustes de uma política De forma resumida o monitoramento é um processo sistemático e contínuo que produzindo informações sintéticas e em tempo eficaz permite rápida avaliação situacional e a intervenção oportuna que corrige ou confirma as ações monitoradas Garcia 2001 p 323 Este passo a passo deve representar uma ferramenta prática na qual o instrumento é explicado de forma clara a fim de que os atores envolvidos no processo possam encontrar instruções esclarecimentos e orientações 3 GARCIA R C Subsídios para organizar avaliações da ação governamental Planejamento e Políticas Públicas Brasília v23 n7 2001 115 sobre as etapas de construção de um processo de monitoramento no PNAE que se inicia com fortalecimento da coordenação responsável sua reestruturação treinamento dos técnicos planejamento e definição de método e ferramenta de atuação Essa consolidação do processo em nível federal refletirá na ação localizada desses agentes e por conseqüência nos demais atores governamentais e de sociedade civil que estão envolvidos na gestão e execução do PNAE 2 NÚCLEOS TEMÁTICOS 21 DA EMERGÊNCIA DOS TEMAS Os temas destacados na Proposta de Reestruturação do Processo de Monitoramento do PNAE emergiram da pesquisa O Processo de Monitoramento do PNAE O estudo referido possibilitou o reconhecimento de que é necessário que os temas dialoguem e interajam a fim de que correspondam de forma mais completa as realidades encontradas no processo de monitoramento Os temas principais emergiram das falas de entrevistas com técnicos responsáveis pelo atual monitoramento do PNAE Essas entrevistas compuseram núcleos temáticos principais com pontos essenciais para a reestruturação do processo de monitoramento São quatro principais concepções de monitoramento modelo e instrumentos de monitoramento limites e possibilidades para o processo de monitoramento e a necessidade de formação 116 Os Núcleos Temáticos descritos a seguir traduzem as aprendizagens construídas até aqui NÚCLEO TEMÁTICO 1 CONCEPÇÕES DE MONITORAMENTO Este núcleo tem como objetivo construir e validar uma compreensão crítica e reflexiva sobre o significado de monitoramento dentro do PNAE Para essa construção necessário se faz o envolvimento de todas as áreas que compõem internamente o Programa nutrição controle social agricultura familiar educação execução financeira e monitoramento Neste núcleo as temáticas acompanhamento e planejamento comporão a base do conceito de monitoramento NÚCLEO TEMÁTICO 2 MODELO E INSTRUMENTOS DE MONITORAMENTO Neste núcleo pretendese elaborar um modelo de monitoramento tendo como base o conceito já estabelecido bem como construir um questionário de monitoramento a partir das legislações existentes Essa elaboração e construção deve contemplar os objetivos e atividades das seis áreas mencionadas no núcleo temático 1 Para que isso se concretize criarseá um Grupo de Trabalho Intersetorial4 composto por representantes de cada área com o objetivo de desenhar uma proposta de atividades e de indicadores para cada área de método de processo de monitoramento que contemple temas como critério de seleção das Entidades executoras coleta de informações tratamento análise e avaliação de dados de instrumento de trabalho questionário NÚCLEO TEMÁTICO 3 LIMITES E POSSIBILIDADES 4 Este grupo emerge como uma construção a partir das demandas apreendidas nas entrevistas e pelo cruzamento com o referencial teórico 117 Nesse núcleo tentouse compilar os principais limites e possibilidades existentes atualmente no monitoramento do PNAE A apresentação do passo a passo representa forma de tentar aumentar as possibilidades do processo e lidar com os limites que foram identificados nas entrevistas a fim de que as atividades possam atingir um nível mais elevado de efetividade Da mesma forma temse a intenção de que os limites também interajam diretamente com a próxima temática de necessidade de formação pois se entende que os nós críticos poderiam ser melhor tratados com intensa formação dos técnicos envolvidos NÚCLEO TEMÁTICO 4 NECESSIDADE DE FORMAÇÃO A formação no monitoramento deve ter um caráter continuado que envolvesse todos os agentes da gestão e execução com conteúdos diversificados nutrição licitação e contratos vigilância sanitária controle social educação gestão de recursos agricultura familiar no intuito de constituir uma equipe mais nivelada com padrões mínimos definidos O Grupo de Trabalho representa a instância na qual as estratégias de formação dos pontos focais de cada área seriam discutidas e internalizadas pelos integrantes para posterior conscientização e disseminação Haveria uma constante preocupação com formação que estaria refletida na realização interna de pequenos workshops e seminários 118 3 FORMAÇÃO DA EQUIPE DE MONITORAMENTO Ao se pensar na formação da equipe devese definir qual o seu objetivo formato e periodicidade De acordo com o observado nas entrevistas com os envolvidos no processo essa formação deve ser ligada à pratica vivenciada no momento das visitas in loco bem como nas situações específicas encontradas O método a ser utilizada tem como foco a promoção do conhecimento integrado entre a equipe a integração do grupo objetivando um trabalho coletivo como forma de desenvolver o monitoramento A idéia é de possibilitar aos participantes da formação simular situações vivenciadas troca de conhecimentos e experiências que proporcionem referências comuns e sentido de pertencimento ao programa Essas ações podem contribuir para a construção das identidades profissionais pessoais e valorização das experiências pregressas como base da construção de novas aprendizagens organização da avaliação da aprendizagem Durante formação o processo deve ser cumulativo abrangente sistemático e flexível de obtenção e julgamento de informações de natureza qualitativa e quantitativa da aprendizagem de forma a estimular a ampla participação da equipe no planejamento e desenvolvimento da própria formação Buscase também a promoção do uso da tecnologia para criar mecanismos de discussão e promoção de experiências entre os atores o desenvolvimento de estratégias que permitam observar durante todo o processo de formação da equipe se os participantes estão se apropriando da formação e promoção das horas determinadas para a formação continuada reuniões periódicas para acompanhamento dos resultados das formações As atividades de formação deverão abordar especialmente os itens destinados a informação e intercambio de experiências tais como dificuldades encontradas no processo de monitoramento solução que conseguiram para a gestão do monitoramento principais 119 dúvidas avaliação das ações de monitoramento organizar a elaboração de relatórios de todas as atividades da formação continuada da equipe Garantir que o responsável pela formação tenha perfeita compreensão das necessidades da equipe 4 METODOLOGIA A metodologia da proposta de reestruturação do processo de monitoramento do PNAE que tem princípios direcionadores que nortearam a construção das modificações pensadas para o processo 1 Participação dos envolvidos no monitoramento abrangendo todas as suas etapas 2 Valorização dos saberes construídos a partir das experiências acumuladas no âmbito da vivência em outros processos de monitoramento 3 Entendimento do monitoramento em sua face de avaliação continuada permanente e comprometida com o avanço das atividades desenvolvidas no PNAE 120 1ª Passo Discutir e Disseminar o Conceito de Monitoramento na Estrutura do PNAE Esse passo deve ser liderado pela Coordenação de Monitoramento do Programa que deve buscar organizar seminários internos freqüentes envolvendo as seis áreas do Programa sendo elas nutrição controle social execução financeira educação monitoramento e agricultura familiar com o intuito de se construir e consolidar o conceito de monitoramento 2º Passo Organização de Grupo de Trabalho Intersetorial Organizar um Grupo de Trabalho GT constituído por dois representantes de cada uma das seis áreas do Programa que terá como função discutir os objetivos e as atividades dentro dessas atividades desenvolvidas o Grupo deve indicar o quê dentro de cada área é necessário ser mensurado Indicadores O Grupo de Trabalho deverá estipular um prazo máximo três meses para discutir e listar os indicadores de cada área que serão utilizados no processo de monitoramento 121 3º Passo Consolidação dos Indicadores de Monitoramento Realização de seminário específico para apresentação discussão e validação dos indicadores listados pelo Grupo de Trabalho Esse seminário pode contar com a participação de parceiros do PNAE como os Centros Colaboradores em Alimentação e Nutrição do Escolar com intuito de contribuir para a análise da viabilidade do resultado do Grupo de Trabalho 4º Passo Construção da Metodologia do Processo de Monitoramento Após a validação dos indicadores há a necessidade de discussão sobre a metodologia que será aplicada as ações de monitoramento Esta deverá conter a definição de monitoramento validada pela CoordenaçãoGeral do Programa critérios de seleção das Entidades Executoras de coleta das informações de tratamento dos dados Sistema informatizado de análise dos dados e de avaliação para correção de rumo se necessário 122 5º Passo Elaboração do Formato do Questionário de Monitoramento O Grupo de Trabalho Intersetorial deverá elaborar a ferramenta de coleta o questionário que deverá contemplar os normativos do programa bem como os indicadores validados anteriormente O questionário é peça fundamental no processo de monitoramento pois é o instrumento que fornecerá as informações necessárias para alimentar os indicadores Representa também o ponto de contato entre os níveis federal estadual e municipal o mecanismo responsável por retratar a realidade local fornecendo um diagnóstico da situação do Programa na área específica 6º Passo Validação do Questionário de Monitoramento Organização de workshop para discutir e disseminar o conteúdo do questionário de monitoramento entre servidorescolaboradores das demais áreas que irão possivelmente participar de visitas de monitoramento e á CoordenaçãoGeral com intuito de esclarecer os itens que compõem o instrumento Essa ação contribui para aperfeiçoar e harmonizar os conhecimentos gerais sobre o que precisa ser observado e certificado durante as visitas de monitoramento criando uma base de conhecimentos gerais sobre todas as áreas do Programa Isso também funciona como treinamento para que os técnicos dos PNAE sejam profissionais mais completos e envolvidos em toda a cadeia de gestão e execução do Programa 123 7º Passo Planejamento das Ações de Monitoramento A Coordenação de monitoramento apresentará a CoordenaçãoGeral do programa um planejamento para validação da metodologia e dos instrumentos que a compõem Esse planejamento já inclui uma proposta de municípiosEstados a ser visitados bem como o acompanhamento continuado à gestãoexecução do Programa nessas localidades Incluirá também a programação de participação em outras atividades de monitoramento 8º Passo Execução do Planejamento Os técnicos serão divididos em equipe de dois o critério pode ser de um técnico mais experiente com outro menos experiente se for o caso e visitarão municípios ou Estados de acordo com os critérios estabelecidos na metodologia 124 9º Passo Elaboração de Relatório de Monitoramento e Tabulação de Dados Após a visita de campo as equipes deverão apresentar relatório de monitoramento conforme conteúdo definido na metodologia contendo as orientações necessárias aos gestoresimplementadores 10º passo Avaliação Interna do Processo de Monitoramento Após a execução do planejamento a Coordenação de Monitoramento reunirá os participantes do monitoramento para avaliação da metodologia e questionário propostos com a finalidade de discutir sobre a realização de possíveis ajustes tanto no que se refere à metodologia quanto aos seus instrumentos 125 7 REFERÊNCIAS AGUILAR M J ANDER E Avaliação de Serviços e Programas Sociais Petrópolis Vozes 1994 ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS NBR 10520 Informação e documentação citações em documentos apresentação Rio de Janeiro 2002 NBR 14724 Informação e documentação trabalhos acadêmicos apresentação Rio de Janeiro 2002 NBR 6023 Informação e documentação referências elaboração Rio de Janeiro 2002 BARDIN L Análise de Conteúdo Lisboa Portugal Edições 70 1997 1977 BARRETO JAE Avaliação Mitos e Armadilhas Ensaios Avaliação e Políticas Públicas em Educação Rio de Janeiro Fundação CESGRANRIO n 1 1993 BELLONI I MAGALHÃES H SOUSA L Metodologia para avaliação de políticas públicas uma experiência em educação profissional São Paulo Cortez 2001 96 p Coleção Questões da Nossa Época v 75 BONI Valdete QUARESMA Sílvia J Aprendendo a entrevistar como fazer entrevista em Ciências Sociais Vol2 nº 1 3 janeirojulho2005 p 6880 09 Revista Eletrônica dos PósGraduandos em Sociologia Política da UFSC Disponível em http wwwemteseufscbr Acesso em 02032011 BORBA PRF FARAH ML FEDATO MCL FILHO MAFM PIRES JT Monitoramento e avaliação de programas e projetos sociais desenvolvimento de um plano de avaliação VII SEMEAD Seminários em Administração 2004 BOURDIEU Pierre A miséria do mundo Petrópolis Vozes 3ª edição1999 Tradução de Mateus S Soares 126 BRASIL Constituição 1988 Constituição da República Federativa do Brasil Brasília DF Senado 1988 BUVINICH M R Ferramentas para o Monitoramento e Avaliação de Programas e Projetos Sociais UNICEF Cadernos de Política Social n 10 Brasília out1999 CANO I Avaliação de programas sociais Rio de Janeiro FGV 2002 CARVALHO MCB Sistema de monitoramento e avaliação implementado por uma organização do terceiro setor o caso da Ação Comunitária do Brasil In BARREIRA Maria Cecília Nobre CARVALHO Maria do Carmo Brant de Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo IEEPUCSP 2001 CAULLEY D N Document Analysis in Program Evaluation Portland Northwest Regional Educational Laboratory 1981 CELLARD A A análise documental In POUPART J DESLAURIERS J P GROULX L LAPERRIÉRE A MAVER R PIRES A P A pesquisa qualitativa enfoques epistemológicos e metodológicos Petrópolis Vozes 2008 CHURCHILL JUNIOR GA Marketing research methodological foundations Chicago The Dryden Press 1987 COHEN E FRANCO R Avaliação de projetos sociais Petrópolis Vozes 2000 Avaliação de projetos sociais Petrópolis Vozes 2004 COHEN E MARTÍNEZ R Manual de formulação e avaliação de projetos sociais CEPAL 2006 Comunitária do Brasil In BARREIRA Maria Cecília Nobre CARVALHO Maria do Carmo Brant de Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo IEEPUCSP 2001 CONSEIL SCIENTIFIQUE DE LÉVALUATION Petit guide de lévaluation de politiques publiques Paris La Documentation Française 1996 127 CONTANDROPOULOS A P CHAMPAGNE F DENIS JL PINEAULT T Avaliação na área de saúde conceitos e métodos in Hartz ZMA org Avaliação em saúde dos modelos conceituais a práticas da implantação de programas Rio de Janeiro Ed Fiocruz 1997 p 2848 COSTA REIS LG Avaliação de projetos como instrumento de gestão São Paulo mimeo 2004 COSTA F L CASTANHAR J C Avaliação de programas públicos desafios conceituais e metodológicos Revista Brasileira de Administração Pública Rio de Janeiro v 37 nº 5 2003 FARIA RM Avaliação de programas sociais evoluções e tendências In RICO Elizabeth Melo org Avaliação de políticas sociais uma questão em debate 2ª ed São Paulo Cortez Instituto de Estudos Especiais 1999 FIRME TP Avaliação tendências e tendenciosidade Revista Ensaio v1 nº 2 janmar 1994 FRANCO M L P B Análise de Conteúdo Brasília Líber Livro Editora 3ª ed 2008 FUNDO NACIONAL DE DESENVOLVIMENTO DA EDUCAÇÃO FNDE Conselho Deliberativo do FNDE Regimento Interno Brasília 2007 Coordenação Geral do PNAE CGPAE Projeto Básico de Monitoramento Brasília 2003 Coordenação Geral do PNAE CGPAE Relatório de Monitoramento nº 0092008 de 061108 Prefeitura Municipal de Rio das OstrasRJ Brasília 2008 Manual de orientação para a criação e constituição de Unidade Executora Programa Dinheiro Direto na Escola Brasília 2007 Resolução nº 38 de 16 de julho de 2009 Dispõe sobre o atendimento da alimentação escolar aos alunos da educação básica no Programa Nacional de Alimentação Escolar PNAE Disponível em 128 httpwwwfndegovbrindexphpdownloadsresolucoes200957 res03816072009download Acesso em 06072011 Resolução nº 32 de 10 de agosto de 2006 Estabelecer as normas para a execução do Programa Nacional de Alimentação Escolar PNAE Disponível em ftpftpfndegovbrwebresolucoes2004res03823082004pdf Acesso em 230909 GARCIA CM A formação de professores novas perspectivas baseadas na nvestigação sobre o pensamento do professor in NÓVOA A Coord Os professores e a sua formação Lisboa Publicações Dom Quixote 1992 p 5176 Garcia Ronaldo C Avaliação de Ações Governamentais pontos para um começo de conversa Brasília IPEACENDEC out 1997 Subsídios para organizar avaliações da ação governamental Planejamento e Políticas Públicas Brasília n 23 p 770 janjun 2001 Subsídios para Organizar Avaliações da Ação Governamental in Texto para Discussão No 776 IPEA Brasília 2000 GAZOTO L W VARELLA M D JÚNIOR A U S ZACKSESKI C M VIVEIROS E F S KRAUSPENHAR R PÔRTO I F Manual de Elaboração de Dissertação de Mestrado Centro Universitário de Brasília Programa de Mestrado em Direito Brasília 2005 GIL Antônio Carlos Métodos e técnicas de pesquisa social São Paulo Editora Atlas 2006 GODOY A S Introdução à pesquisa qualitativa e suas possibilidades In Revista de Administração de Empresas v 35 n 2 MarAbr 1995 p 5763 HAGUETTE T M F Metodologias qualitativas na sociologia 4 ed Petrópolis Vozes 1995 Metodologias qualitativas na Sociologia 5a edição Petrópolis Vozes 1997 129 HELDER R R Como fazer análise documental Porto Universidade de Algarve 2006 JANNUZZI P M Indicadores sociais no Brasil conceitos fonte de dados e aplicações Campinas Alínea 2001 LAKATOS EM e MARCONI MA Técnicas de pesquisa 3a edição São Paulo Editora Atlas 1996 MACHADO N J Avaliação Educacional das técnicas ao valores Revista de Psicopedagogia v 13 n 28 jan 1994 MALHOTRA N K Pesquisa de marketing Porto Alegre Bookman 2001 MATUS C El Sistema Altadir de Montoreo Caracas Fundación ALTADIR mar 1994 MILES I Social indicators for human development New York St Martins Press 1985 MINAYO M C S ASSIS S G SOUZA E R Avaliação por triangulação de métodos abordagem de programas sociais Rio de Janeiro Editora Fiocruz 2005 MINAYO M C S O desafio do conhecimento pesquisa qualitativa em saúde 3 ed São Paulo HucitecAbrasco 1994 MOROZ M GIANFALDONI M H T O processo de pesquisa iniciação Serie Pesquisa em Educação v 2 Brasília Plano 2002 NAÇÕES UNIDAS Handbook of social indicators Nova York 1988 OLIVEIRA JAP Desafios do planejamento em políticas públicas diferentes visões e práticas Anais do Enanpad 2005 e em Martins e Pieranti 2005 130 OMS Catalogue of health indicators Genebra 1996 PABON H Evaluación de Servicios de Salud Cali XYZ Editora 1985 PEDRASA D F ANDRADE S L L S A Alimentação Escolar analisada no contexto de um Programa de Alimentação e Nutrição Revista Brasileira em promoção da saúde vol 19 n 3 2006 PENNA FIRME T Avaliação em rede Disponível em httpwwwritsorgbrredestesterdtmesset2003cfm Acesso em 27 de março de 2011 POSAVAC EJ e CAREY RG Program evaluation methods and case studies New Jersey Upper Saddle River 2003 RAPOSO R Quer agregar valor à sua marca Pense em avaliação Revista Exame Guia Da Boa Cidadania Corporativa São Paulo dez 2003 p 18 Edição Especial RODRIGUES MM Uma análise sobre a utilização do sistema de acompanhamento e monitoramento do Programa Nacional de Alimentação Escolar SAMPNAE 2005 ROSSI P HOWARD F LIPSEY M Evaluation a systhematic approach California Sage Publications 1999 RUA M G A avaliação no ciclo da gestão pública 2004 mimeo Apresentação Monitoramento e Avaliação de Programas e Projetos Curso de especialização em Gestão Pública Brasília Enap 2007 Avaliação de Políticas Programas e Projetos notas introdutórias 2003 mimeo SELLTIZ C JAHODA M DEUTSCH M COOK S Métodos de Pesquisa nas Relações Sociais São Paulo EPU EPU Editora Pedagógica e Universitária Ltda 1987 131 SILVA C S Medidas e avaliação em educação Petrópolis Vozes 1992 SILVA P L B COSTA N R A avaliação de programas públicos reflexões sobre a experiência brasileira Brasília Ipea 2002 Silva RR e Brandão D Os Quatro Elementos Da AvaliaçãoSão Paulo Instituto Fonte 2003 Construção da capacidade avaliativa em organizações da sociedade civil São Paulo Instituto Fonte 2003 STUFFLEBEAM D L Evaluation models San Francisco American Evaluation Association 2001 TANAKA O Y MELO C Avaliação de Programas de Saúde de Adolescente um modo de fazer São Paulo Edusp 2001 TRIVIÑOS A N S Introdução à pesquisa em ciências sociais a pesquisa qualitativa em educação São Paulo Atlas 1987 VIEIRA DA SILVA LM FORMIGLI VLA Avaliação em saúde limites e perspectivas Cadernos de Saúde Pública 101 8091 Rio de Janeiro 1994 VIGOTSKI L S Pensamento e linguagem 2a ed São Paulo Martins Fontes 2000 WEISS C H Evaluation methods for studying programs and policies New Jersey Prentice Hall 1998 WERNECK V R A Velha e Nova Questão da Avaliação Revista Ensaio v 1 n 1 outdez Rio de Janeiro 1996 132 8 ANEXOS ANEXO 1 TERMO DE AUTORIZAÇÃO INSTITUCIONAL 133 9 APÊNDICES APÊNDICE 1 TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO A presente pesquisa Monitoramento do Programa Nacional de Alimentação Escolar PNAE tem como objetivo analisar o processo de monitoramento desenvolvido no PNAE a partir da ótica dos técnicos formuladores eou realizadores do processo Para seu desenvolvimento serão realizadas entrevistas semiestruturadas que serão gravadas e posteriormente transcritas na integra com os servidorescolaboradores do Fundo Nacional de Desenvolvimento da Educação FNDE autarquia ligada ao Ministério da Educação MEC em Brasília Dentre os procedimentos previstos não há previsão de qualquer desconforto ou risco para os participantes da investigação Em qualquer momento do estudo o entrevistado pode ter acesso aos profissionais responsáveis pela pesquisa para esclarecimento de eventuais dúvidas ou mesmo para retirar o consentimento e deixar de participar do estudo sem qualquer prejuízo O principal investigador é a mestranda Cássia Augusta Amaral Buani orientada pela professora doutora Sylvia Helena Batista no âmbito do Programa de Mestrado profissional Ensino em Ciências da Saúde que orientará podendo a primeira ser encontrada no SHIS QI 27 Conjunto 10 Casa 13 Lago Sul BrasíliaDF telefone 6185376343e a segunda na Rua Borges Lagoa 1341 térreo Vila Clementino São Paulo telefone 11 55490130 Se houver alguma consideração ou dúvida sobre a ética da pesquisa entre em contato com o Comitê de Ética em Pesquisa CEP Rua Botucatu 572 1º andar cj 14 55711062 FAX 55397162 Email cepunifespepmbr As informações obtidas serão analisadas em conjunto considerando todos os entrevistados não sendo divulgada a identificação de nenhum O entrevistado 134 também terá direito de ser mantido informado atualizado sobre os resultados parciais da pesquisa Não há despesas pessoais para o entrevistado em qualquer fase do estudo Também não há compensação financeira relacionada à sua participação Se existir qualquer despesa adicional ela será absorvida pelo orçamento da pesquisa O pesquisador comprometese a utilizar os dados e o material coletado somente para esta pesquisa Acredito ter sido suficientemente informado a respeito das informações que li ou que foram lidas para mim descrevendo o estudo O Processo de Monitoramento do Programa Nacional de Alimentação Escolar PNAE Eu discuti com Cássia Augusta Amaral Buani sobre a minha decisão em participar nesse estudo Ficaram claros para mim quais são os propósitos do estudo os procedimentos a serem realizados seus desconfortos e riscos as garantias de confidencialidade e de esclarecimentos permanentes Ficou claro também que minha participação é isenta de despesas Concordo voluntariamente em participar deste estudo e poderei retirar o meu consentimento a qualquer momento antes ou durante o mesmo sem penalidades ou prejuízo ServidorColaborador Declaro que obtive de forma apropriada e voluntária o Consentimento Livre e Esclarecido deste servidorcolaborador para a participação neste estudo Cássia Augusta Amaral Buani Responsável pelo estudo 135 APÊNDICE 02 FORMULÁRIO DE DADOS DE IDENTIFICAÇÃO DO ENTREVISTADO Data Idade Sexo Feminino Masculino Local de trabalho COTAN COMAC COEFA CGPAE CECANE Vínculo com o FNDE Servidor Terceirizado Colaborador do CECANE Tempo de trabalho Atividade que desenvolve Formação Ensino médio Superior incompleto Superior completo Aperfeiçamento cursos Pósgraduação 136 APÊNDICE 3 ROTEIRO PARA ENTREVISTAS Para ColaboradoresServidores 1 Qual a concepção de monitoramento utilizada para realização dos trabalhos 2 Qual é o modelo de monitoramento utilizado pelo PNAE Que instrumentos são utilizados no monitoramento 3 Quais as dificuldades e possibilidades que você identifica no monitoramento 4 Qual o nível de qualificação dos atores envolvidos na realização do monitoramento do PNAE Para Coordenadores 1 O que você entende por monitoramento 2 Que tipo de acompanhamento deve ser feito para se verificar a execução do PNAE pelas Entidades Executoras 137 APÊNDICE 4 QUADRO ANALÍTICO DAS ENTREVISTAS 1 NÚCLEO DIRECIONADOR CONCEPÇÕES DE MONITORAMENTO Unidade de Contexto Unidade de Significado Temática Existem várias formas de você acompanhar uma política pública são várias metodologias que você utiliza para acompanhar essa política e uma delas é o monitoramento várias formas de você acompanhar uma política pública Acompanhamento sistemático são várias metodologias que você utiliza para acompanhar essa política Acompanhamento sistemático tem a outra que é fiscalizatório que é uma forma de acompanhamento da política e tem a auditagem que também é outra forma de acompanhamento tem a outra que é fiscalizatório que é uma forma de acompanhamento da política Caráter fiscalizador é uma linha muito tênue entre onde termina a auditoria começa a fiscalização e onde termina a fiscalização e começa o monitoramento até por que a auditoria é um Até por que a auditoria é um processo de fiscalização Caráter fiscalizador 138 processo de fiscalização o monitoramento não tem poder coercitivo ele não deve ter poder coercitivo ele orienta e instrumentaliza orienta e orienta e orienta o monitoramento ele orienta e instrumentaliza Acompanhamento sistemático tem acompanhamento à distância mas você acompanha para avaliar e ai tomar providencias tem acompanhamento à distância Acompanhamento sistemático você tem que avaliar o próprio trabalho que você desenvolve avaliar o próprio trabalho Avaliação você tem que monitorar suas atividades monitorar a execução do programa do ponto de vista nível nacional que a gente chama de monitoramento interno e você tem que fazer o tal do monitoramento externo monitoramento interno e você tem que fazer o tal do monitoramento externo Acompanhamento sistemático O objetivo do monitoramento não é simplesmente avaliar a execução do programa por avaliar e penalizar Essa é a diferença da essa é a diferença da fiscalização é avaliar a execução do programa e reorientar e alterar inclusive todas as propostas e Avaliação 139 fiscalização é avaliar a execução do programa e reorientar e alterar inclusive todas as propostas e atividades ou legislações que você tem atividades ou legislações que você tem no momento em que você avalia a execução do programa na ponta e verifica que a normatização em vez de facilitar ela esta complicando você tem que mudar a normatização Se você percebe que não dá para normatizar do ponto de vista nacional que se comece então a normatizar regionalmente se você percebe que não dá para normatizar do ponto de vista nacional que se comece então a normatizar regionalmente Avaliação você precisa avaliar e para você avaliar você tem que monitorar É obrigatório Não existe avaliação sem monitoramento Não existe Não existe avaliação sem monitoramento Acompanhamento sistemático tem que ampliar essa discussão do monitoramento não pode vincular a questão financeira tem que ampliar essa discussão do monitoramento Acompanhamento sistemático 140 me incomoda muito a gente pensar somente nas atividades que a gente desenvolve a gente pensar somente nas atividades que a gente desenvolve Monitoramento ampliado saber por exemplo se a gente está repassando em 10 parcelas dentro do prazo Não poderia antecipar e começar já em janeiro repassando o recurso Para isso se a gente está repassando em 10 parcelas não poderia antecipar Monitoramento ampliado pense o mapeamento que você precisa fazer Então eu preciso saber o censo quando chega e se o sistema está preparado Aí eu tenho que trabalhar com a TI O sistema está Não mude muito as regras Monitoramento ampliado 141 preparado para atender o censo com as regras de negócios que a gente estabeleceu O sistema dá conta das regras de negócios que a gente estabeleceu Não mude muito as regras porque quando ele atrasa atrasa o nosso pagamento aí a gente vai para E o monitoramento tem que pensar nisso pense o mapeamento que você precisa fazer Monitoramento ampliado que monitoramento a gente faz do PAR A gente não sabe o que a prefeitura pede A gente não sabe O LSE Alguém já leu o que é que está no levantamento situacional das escolas O monitoramento precisa sair sabendo o seguinte eu vou para o município tal o que esse município disse no PAR Ele pediu o que Ele pediu escola Tá ele pediu construção de escola reforma de escola Como é que está a estrutura dessas reformas O monitoramento precisa sair sabendo o seguinte eu vou para o município tal o que esse município disse no PAR Ele pediu o quê Ele pediu escola Monitoramento ampliado 142 dessas escolas A gente tem que visitar Um instrumento para eu garantir tudo isso aqui um instrumento de validar a política pública é o monitoramento e avaliação não é transferência de recursos financeiros Um instrumento de validar a política pública é o monitoramento Acompanhamento sistemático monitoramento Ele orienta Olha tá aqui orientado eu espero que você não repita A próxima vez que a gente vier aqui a gente já vem fazendo fiscalização aí já não vai com o olhar de monitoramento eu já vou olhar para fiscalizar monitoramento Ele orienta Olha tá aqui orientado eu espero que você não repita Acompanhamento sistemático não existe uma separação na verdade monitoramento acompanhamento auditoria fazem parte do sistema de controle são ferramentas de controle não existe uma separação na verdade monitoramento acompanhamento auditoria fazem parte do sistema de controle são ferramentas de controle Caráter fiscalizador o monitoramento ele é o grande É o verificador do próprio gestor se a gestão dele se execução está funcionado É um É um diagnóstico de toda execução o tempo todo Acompanhamento sistemático 143 diagnóstico de toda execução o tempo todo Então o monitoramento e a auditoria ele não tem uma fronteira a auditoria é que vai prestar informações para monitoramento Então toda aquela informação que o monitoramento tem que ele fornece depois o monitoramento ele é o grande É o verificador do próprio gestor se a gestão dele se execução está funcionado Acompanhamento continuado é importante O que o monitoramento quer ver Quando a gente pergunta isso os setores de monitoramento não conseguem responder não precisa responder O que você quer saber Pra que que você quer saber Então na hora que você define o que você quer saber realmente você vai ver que um monte de perguntas que você faz são inúteis é importante o que o monitoramento quer ver Acompanhamento sistemático como é que é o seu relatório Aquele seu relatório ele presta para alguma coisa como é que é o seu relatório Avaliação 144 Entenda o seguinte um relatório ele tem uma finalidade prática ninguém tem paciência de ver relatório que não diz nada ou que diz um monte de coisas que no final não representa nada Então os relatórios eles necessariamente devem ser diferentes O relatório que saí de um setor de monitoramento e vai para um gestor ou um coordenador até ele chegar num diretor num presidente ele tem ter um filtro Na hora que você tem um filtro em algo relevante uma linha você agrega valor a gestão Agregando valor à gestão você fortalece o monitoramento você tem um filtro em algo relevante uma linha você agrega valor a gestão agregando valor a gestão você fortalece o monitoramento Avaliação como é que o PNAE se comporta O que tem de bom E o que tem de ruim Olha só quando um gestor faz uma pergunta dessa Essa é a função do monitoramento é dar uma correção do rumo Acompanhamento sistemático 145 você tem que falar olha tá acontecendo isso de problema e eu tenho isso de solução Se você não souber o problema Essa é a função do monitoramento é dar uma correção do rumo Monitorar acompanhar para ver os erros que se tem num determinado processo e melhorar acompanhar para ver os erros que se tem num determinado processo e melhorar Acompanhamento E para se fazer isso a gente precisa estabelecer uma linha de base para se saber em que situação o município está no ano X e estabelecer metas de melhorias e ir acompanhando ano a ano para num determinado período estabelecido você saber qual foi a evolução que o município teve da alimentação escolar A gente precisa estabelecer uma linha de base para se saber em que situação o município esta no ano X e estabelecer metas de melhorias e ir acompanhando ano a ano para num determinado período estabelecido Planejamento Essa concepção ela é mais para fiscalização acho que o monitoramento ele precisaria ter um acompanhamento do que monitoramento ele precisaria ter um acompanhamento do que está sendo orientado do que tá sendo visto Acompanhamento 146 está sendo orientado do que tá sendo visto e até onde eu vejo hoje isso não ocorre A auditoria ela não conversa tanto ela não orienta Ela não orienta ela não tem esse caráter A auditoria vai viu que tá errado constata e se tiver que cobrar alguma coisa ela cobra A auditoria ela não conversa tanto ela não orienta Diferença entre fiscalização e monitoramento Auditoria não tem esse caráter A auditoria vai viu que tá errado constata e se tiver que cobrar alguma coisa ela cobra A coerção e o monitoramento Concepção do monitoramento ela foi no sentido de avaliar as ações do Programa na ponta No município no sentido de traçar indicadores de eficiência eficácia até para atender solicitações do Tribunal de Contas da União Concepção do monitoramento ela foi no sentido de avaliar as ações do Programa na ponta Diferença monitoramento e avaliação No sentido de traçar indicadores de eficiência eficácia até para atender solicitações do Tribunal de Contas da União Definir indicadores 147 Momento que foi concebido a questão do monitoramento foi feito um projetinho que traçava alguns critérios mas que isso realmente na pratica não aconteceu Foi feito um projetinho que traçava alguns critérios mas que isso realmente na pratica não aconteceu Planejamento A concepção de monitoramento utilizada hoje considerando aquele Ele não é cumprido Considerando o projeto que foi traçado na época ele não é cumprido Considerando o projeto que foi traçado na época ele não é cumprido Necessidade de critérios Eu tentei puxar para algumas palavras que já eram do meu cotidiano A primeira palavra que veio era monitoria a princípio porque eu já tinha sido monitor na faculdade Eu acompanhava as atividades deles Era uma monitoria A primeira palavra que veio era monitoria eu já tinha sido monitor na faculdade Eu acompanhava as atividades deles Era uma monitoria Acompanhamento E depois a palavra monitoramento já me remetia a também um acompanhamento a uma espécie de controle da situação que está acontecendo Remetia a também um acompanhamento a uma espécie de controle da situação que está acontecendo Acompanhamento 148 Um monitoramento do nível do toxicológico de determinada substancia Todo dia ele vinha ali pegava uma amostra fazia uma análise pra saber o nível de determinada substância que estava contaminando a água Todo dia ele vinha ali pegava uma amostra fazia uma análise Controle no monitoramento Comparação Amostragem Monitoramento de políticas públicas era algo que eu jamais tinha pensado porque não fazia parte da minha realidade Não fazia parte da minha realidade Diferença de realidades no monitoramento Comecei a construir o meu conceito de monitoramento a partir dessas referências de monitoramento que eu tive Nunca tive um estudo mais detalhado mais aprofundado pra saber se essas minhas referências podem ou até que ponto elas podem ser utilizadas no caso de monitoramento de uma política pública Construir o meu conceito de monitoramento Construção do conceito de monitoramento para políticas públicas 149 Partindo dessa idéia o monitoramento de uma política pública como o PNAE Também parte do pressuposto desse acompanhamento dessa execução a partir do momento que eu tenho vários atores envolvidos nessa execução em diferentes níveis Monitoramento de uma política pública Construção do conceito de monitoramento para políticas públicas Acompanhamento dessa execução a partir do momento que eu tenho vários atores envolvidos nessa execução em diferentes níveis Acompanhamento O monitoramento dessa execução é fazer um acompanhamento dessa execução na ponta onde acontece de fato o Programa onde se materializa Um acompanhamento dessa execução na ponta onde acontece de fato o Programa onde se materializa Diversidade de atores de diferentes níveis Execução Descentralizada 150 Fazer monitoramento seria eu estar ali junto daquelas pessoas que estão executando essa política pública fazendo esse acompanhamento dando orientações verificando se a forma como está sendo feita essa execução do Programa está de acordo com a legislação vigente e não estando dar orientação para que aquilo fique Sempre tentando para que aquela execução vá se aproximando da maneira ideal que se espera Fazer monitoramento seria eu estar ali junto daquelas pessoas que estão executando essa política pública Visita in loco verificando se a forma como está sendo feita essa execução do Programa Acompanhamento Sempre tentando para que aquela execução vá se aproximando da maneira ideal que se espera Meta monitoramento execução ideal 151 Orientálos e voltar a ir uma vez orientar Ver como é que está para ver toda a parte documental licitação até o final ver a criança e tal orientálos e voltar a ir uma vez orientar Ver como é que está Acompanhamento Para mim monitorar é ajudar orientar mostrar os erros mostrar o que tá certo enfim Chegar junto para mim monitorar é chegar junto não sei Para mim eu consigo entender que monitorar é chegar junto Monitorar é ajudar orientar mostrar os erros mostrar o que tá certo Orientação Para você ter o planejamento Monitorar a parte administrativa A CoordenaçãoGeral tem que dar carta branca para quem tá coordenando o monitoramento Para você ter o planejamento Planejamento O planejamento que inclusive foi feito pela CoordenaçãoGeral de monitoramento e tem que dar carta branca pra isso Se não der isso não vai acontecer E tem que dar carta branca pra isso Se não der isso não vai acontecer Planejamento Autonomia 152 Delegação Para mim o monitoramento tem que ter uma equipe formada nutricionistas trabalhando junto comprometimento com planejamento mas ele tem que fazer apoio logístico Isso é muito importante Se não você não anda no monitoramento Apoio logístico A parte de suprimento de fundos ter condições de alugar carros para poder se locomover caso que muitas prefeituras só tem um carro e fica a sua disposição que eu acho isso um absurdo mas é o que eles tem e é o que nós temos para trabalhar então isso aí já é muito difícil Os relatórios eu acho que tá caminhando melhor do que antes Para mim o monitoramento tem que ter uma equipe formada Composição da equipe monitoramento Comprometimento com planejamento Planejamento 153 Mas ele tem que fazer apoio logístico Condições logísticas para a realização do monitoramento Eu acho que monitoramento é dar apoio e suporte a todos os municípios mas não focado em denuncia e problemas Mesmo por que são mais de 5 mil municípios e não são só nesses municípios que tem problemas você acaba focando em um e não dá apoio para outros Monitoramento é dar apoio e suporte a todos os municípios mas não focado em denúncia e problemas Orientação preventiva Você acaba focando em um e não dá apoio para outros Universalização efetiva 154 Monitoramento aqui no Programa é você ser capaz de chegar na ponta e verificar como é a execução do PNAE lá na ponta e através dessa verificação você vai fazer os diagnósticos positivo e negativos e a partir dele você vai elaborar observação Você teria que acompanhar para ver se foi válida sua ida até o município o que tinha de certo o que podia melhorar e o de errado para concertar então teria que ter o acompanhamento constante Você ser capaz de chegar na ponta e verificar como é a execução do PNAE lá na ponta Verificação da execução Através dessa verificação você vai fazer os diagnósticos positivo e negativos Elaboração de diagnóstico Você teria que acompanhar para ver se foi válida sua ida até o município o que tinha de certo o quê podia melhorar e o de errado para concertar então teria que ter o acompanhamento constante Acompanhamento contínuo 155 A gente vai a gente faz o diagnóstico orienta em por problema interno mesmo de relatório A gente faz o diagnóstico Elaboração de diagnóstico A gente deixa lá algumas orientações mas o documento todo inteiro o diagnostico todo e as orientações até saí daqui Até lá é demorado e para você acompanhar isso não acompanha Burocracia Problemas internos Até saí daqui Até lá é demorado e para você acompanhar isso não acompanha Burocracia Problemas internos Trâmites internos burocratizados Demora na tomada de providências no pósmonitoramento nível federal para o estadualmunicipal O tempo todo foi com foco na fiscalização apesar da gente se esforçar muito em mudar o foco de monitoramento para monitoramento e avaliação mas no final das contas sempre acabava numa fiscalização O tempo todo foi com foco na fiscalização apesar da gente se esforçar muito em mudar o foco de monitoramento Caráter fiscalizador tinha uma parte sim de orientação até porque os técnicos já saiam daqui com toda a orientação da coordenação de que sentasse tinha uma parte sim de orientação Orientação 156 discutisse identificar as falhas orientar como corrigilas desse prazo para a correção e mesmo quando eles voltavam eles ainda acabavam dando um suporte por mais tempo àquela prefeitura quando eram demandados por eles Eu acho que o próprio FNDE sempre teve na cabeça o monitoramento como uma ferramenta de controle Então como existe uma demanda muito alta dos órgãos de controle interno e externo da União e do Ministério Público o trabalho de monitoramento acaba sendo uma continuidade de fiscalização que eram feitas por esses órgãos o próprio FNDE sempre teve na cabeça o monitoramento como uma ferramenta de controle Mecanismo de controle Uma demanda muito alta dos órgãos de controle interno e externo da União e do Ministério Público o trabalho de monitoramento acaba sendo uma continuidade de fiscalização que eram feitas por esses órgãos Caráter fiscalizador 157 2 NÚCLEO DIRECIONADOR MODELO E INSTRUMENTOS DE MONITORAMENTO Unidade de Contexto Unidade de Significado Temática Os três eixos básicos pra mim eram a visão sair da visão assistencial de transferência de recursos financeiros para a visão de direito de programa pedagógicoE em 2003 eu falava disso falava que outro era o monitoramento e avaliação e falava que o terceiro eixo e principal pra mim era o controle social sair da visão assistencial de transferência de recursos financeiro para a visão de direito Visão de direito humano Fortalecimento do controle social A gente tem que conciliar recursos financeiros com a execução porque no momento em que você vai monitorar os Municípios ou o Estados que reprogramou ele tem que saber algumas outros informações que assim Por que você reprogramou Você realmente atingiu os objetivos uma vez que você não utilizou esse recurso Você entrou com contrapartida Não assim ele tem que me dizer Ele tem um celíaco Ah Nem sei Então tá difícil você não identificou você não comprou um alimento especial Então como é que você conseguiu atingir esses objetivos Municípios ou o Estados que reprogramou ele tem que saber alguns outros informações Monitoramento ampliado 158 monitoramento você tem in loco a visita que você vai que você verifica constata e orienta e daí você tem que acompanhar então para mim dentro do monitoramento você tem um item chamado acompanhamento in loco a visita que você vai que você verifica constata e orienta e daí você tem que acompanhar Visitas in loco Acompanhamento sistemático Para mim existe o ciclo monitoro vista in loco daí eu acompanho daí eu retorno ao monitoramento monitoro vista in loco daí eu acompanho daí eu retorno ao monitoramento Visita in loco Que instrumentos você tem para fazer esse monitoramento Você tem a visita é um instrumento o acompanhamento por questionário o acompanhamento por conversas Por telefone por skype até por Twitter que o povo está usando Facebook Twitter Orkut A visita é um instrumento o acompanhamento por questionário o acompanhamento por conversas Por telefone por skype até por Twitter Acompanhamento sistemático Você pode fazer videoconferência você pode fazer teleconferência formação pela escola Você pode monitorar via capacitação Você pode monitorar via capacitação Acompanhamento sistemático 159 Quais são os instrumentos que eu utilizo para consegui fazer isso Aí sim eu fechei o ciclo Eu monitorei eu fui lá verifiquei e orientei Eu acompanho sistematicamente Eu tô acompanhando depois eu volto lá de novo que pode ser um outro grupo Os instrumentos que eu utilizo Eu monitorei eu fui lá verifiquei e orientei Eu acompanho sistematicamente Eu tô acompanhando depois eu volto lá de novo que pode ser um outro grupo Acompanhamento sistemático Existem instrumentos que você pode fazer isso Não significa que monitorar significa Será que é necessariamente voltar lá Ou eu vou utilizar instrumento capaz de ou de identificar que você Que para mim é o SIMPNAE Utilizar instrumento capaz de ou de identificar que você Que para mim é o SIMPNAE Acompanhamento sistemático Tem vários instrumentos Para mim esse é fundamental a visita Esse pra mim é fundamental é o que vai fazer o diagnóstico É a visita não tem outro Pra mim não tem outro Se você vai fazer assessoria se você vai chamar monitoramento mas tu vai lá tem vários instrumentos Para mim esse é fundamental a visita Acompanhamento sistemático fazer o diagnóstico É a visita não tem outro Pra mim não tem outro Visita in loco 160 Qual é a minha proposta Minha proposta é tanto vocês pensarem no monitoramento chamando de monitoramento externo da execução do PNAE na ponta quanto do monitoramento interno Não dá para a gente continuar mais desse jeito porque se muita coisa acontece errado na ponta é informação muito errada daqui As pessoas não respondem o que deveria nem sabem direito o que tá respondendo Minha proposta Monitoramento externo da execução do PNAE na ponta O monitoramento interno Não dá para a gente continuar mais desse jeito porque se muita coisa acontece errado na ponta é informação muito errada daqui Visita in loco o problema é eu te perguntar uma coisa e você me responder outra ou me responder pela metade Para mim isso é grave eu te perguntar uma coisa e você me responder outra Formação No monitoramento quando chega no gestor o que o monitoramento tem que fazer Ele vai entender a evolução da execução do programa no país na região no estado na cidade naquele município e naquela escola Ele vai entender a evolução da execução do programa no país na região no estado na cidade naquele município e naquela escola Acompanhamento sistematizado 161 O que o monitoramento tem que ter é o seguinte hoje eu pedi eu tive uma resposta da auditoria que só 50 tá adequado mas eu tô vendo aqui que era 10 Ele evoluiu Essa escola tá boa esse município tá atingindo o que foi previsto para ele Então você vai ter uma visão que aquilo tá bom e eu vou ter uma visão que aquilo é péssimo Essa escola tá boa esse município tá atingindo o que foi previsto para ele Então você vai ter uma visão que aquilo tá bom e eu vou ter uma visão que aquilo é péssimo Acompanhamento sistematizado Cabe ao monitoramento se cercar de informações e ele tem que saber o que que precisa ser visto não é a auditoria que tem que dizer o que é que tem que ser visto Esse é o principal Cabe ao monitoramento se cercar de informações e ele tem que saber o que que precisa ser visto Acompanhamento sistematizado O que a gente faz no PNAE é uma forma de fiscalização onde a gente atenda a demanda do TCU e da CGU Forma de fiscalização onde a gente atenda a demanda do TCU e da CGU Atendimento às denúncias dos Órgãos de Controle Questionários que foram elaborados pelas equipes do PNAE durante esses anos todos Questionários que foram elaborados pelas equipes do PNAE Aplicação de questionários 162 Temos um questionário de CAE que é o nosso Conselho de Alimentação Escolar que também nos dá subsídio para o desenvolvimento do Programa no município já que ele é o órgão de assessoramento o órgão de controle social Temos um questionário de CAE que é o nosso Conselho de Alimentação Escolar que também nos dá subsídio para o desenvolvimento do Programa Instrumento de monitoramento Nós temos as denúncias que não deixa de ser um instrumento de monitorar porque a sociedade civil nos diz o que ela ta vendo de errado a luz da sociedade civil então eu acho que esses são os instrumentos que nós utilizamos para monitorar para fiscalizar o PNAE as denúncias que não deixa de ser um instrumento de monitorar porque a sociedade civil Sistematização continuada de dados coletados Nós vamos ao município fazemos o questionário extenso fazemos questionário de CAE e chega aqui ele não é tabulado chega aqui ele questionário não é tabulado Sistematização continuada de dados coletados Todas as questões que compõe o relatório eu não tenho um banco de dados eu não tenho informações eu não tenho um banco de dados eu não tenho informações Sistematização continuada de dados coletados Eu não tenho informações quando a gente vai ou a gente não consegue pelo menos que Sistematização 163 quando a gente volta daquele município então a grande falha para se fazer o monitoramento é como estava e depois como ficará e a gente não consegue pelo menos que eu tenha conhecimento isso tabulado eu tenha conhecimento isso tabulado continuada de dados coletados Criar critérios para visitar municípios Até pode ser sem critérios Criar critérios para visitar municípios Definição de critérios A partir do momento que eu tivesse alguns indicadores de eficiência eficácia e efetividade através de todas as ações do PNAE A COTAN a educação o CAE a COEFA a Agricultura Familiar como um todo A partir do momento que eu tivesse alguns indicadores de eficiência eficácia e efetividade através de todas as ações do PNAE Definição de indicadores Na Região Norte eu tenho esse quadro na Região Sul eu tenho esse na Região Sudeste eu tenho outro porque nós fazemos também capacitação Na Região Norte eu tenho esse quadro na Região Sul eu tenho esse na Região Sudeste eu tenho outro Diagnóstico Na realidade quando você verifica a efetividade do Programa Na realidade quando você verifica a efetividade do Programa Avaliação Esse apanhado de conjunto de coisas que nós fazemos no monitoramento é que vai subsidiar para que a Esse apanhado de conjunto de coisas que nós fazemos no monitoramento é que vai Acompanhamento contínuo 164 gente possa daqui a Ao critério que a gente pensasse seis meses ou um ano depois retornar aquele município e tá aqui eu tracei todas essas linhas eu diagnostiquei todos esses problemas hoje um ano depois da minha visita ao campo o que você me apresenta de curto médio e longo prazo pra você melhorar e tronar satisfatório o Programa Avaliação também tem que ser uma coisa continuada porque se não ela se perde no tempo subsidiar para que a gente possa daqui a Ao critério que a gente pensasse seis meses ou um ano depois retornar aquele município Tracei todas essas linhas eu diagnostiquei todos esses problemas Diagnóstico de curto médio e longo prazo pra você melhorar e tronar satisfatório o Programa Avaliação Avaliação também tem que ser uma coisa continuada porque se não ela se perde no tempo Avaliação Os instrumentos que a gente usa são os questionários a gente tem a base na legislação na lei Os instrumentos que a gente usa são os questionários Aplicação de questionários 165 O que a gente faz é isso a gente vai que eu fiz eu fui analisei a documentação eu visitei escolas e eu fiz entrevistas com base nisso tudo eu tracei um perfil do que estava acontecendo da situação daquele município e aí daí em cima disso partiram as orientações A gente vai que eu fiz eu fui analisei a documentação eu visitei escolas e eu fiz entrevistas com base nisso tudo eu tracei um perfil do que estava acontecendo Diagnóstico Partiram as orientações Elaboração de orientações Às vezes você vai conversar com aluno você vai fazer uma coisa que Porque não está não estava ali previsto mas basicamente a maioria das entrevistas é feita com base nos questionários A maioria das entrevistas é feita com base nos questionários Aplicação de questionários 166 Ele tem muita coisa muita coisa que pelo menos eu hoje não sei se tem necessidade de estar ali Eu acho que é um questionário extenso você perde um pouquinho de tempo com ele mas eu acho que o problema não é nem você perder um tempo por que se você perde um tempo só com coisas que realmente Eu acho que é um questionário extenso você perde um pouquinho de tempo com ele Formato dos questionários Eu acho que perguntas respostas fechadas Eu acho que o sim e o não é melhor Eu acho que sim porque eu acho que você consegue direcionar um pouco mais para o que você quer Eu acho que o sim e o não é melhor Eu acho que sim porque eu acho que você consegue direcionar um pouco mais para o que você quer Formato dos questionários Havia a elaboração de um projetinho no início do ano de cada exercício onde eram definidos alguns municípios Havia a elaboração de um projetinho Planejamento O monitoramento era presencial com visitações in loco aplicação de questionário os técnicos permaneciam ali por uma semana O monitoramento era presencial com visitações in loco aplicação de questionário Visitas in loco Aplicação de questionário 167 Você ia fazer o que se propunha a fazer só que no decorrer do exercício acabava não acontecendo aquilo que era planejado acabava assim atendendo outras demandas do Ministério Público e tal e não se cumpria aquele modelo que foi traçado no inicio E não se cumpria aquele modelo que foi traçado no início Acompanhamento continuado A idéia inicial era essa você fazer o município e depois de um período você retornava no município para verificar se aquele trabalho que você realizou irregularidades que você constatou que os gestores foram orientados Você retornaria para num segundo momento verificar se houve melhoria ou saneamento das irregularidades só que isso de fato durante o período que eu estive aqui pelo menos isso não aconteceu Você fazer o município e depois de um período você retornava no município para verificar se aquele trabalho que você realizou Sistematização dos dados coletados Até mesmo a demanda do retorno documental eu acho que ele não foi bem acompanhado não é acompanhado A demanda do retorno documental eu acho que ele não foi bem acompanhado Formato dos questionários 168 Os questionários Eram utilizados questionários diferenciados para gestor nutricionista pra controle social Na minha opinião são questionários muito extensos com muitas questões que dificultam até você traçar um indicador ele é igual para todos os municípios Na minha opinião são questionários muito extensos com muitas questões que dificultam até você traçar um indicador Definição de indicadores Formato dos questionários O monitoramento na minha concepção ele acontece lógico para você depois buscar uma avaliação e eu acho que Buscar uma avaliação e traçar inclusive alguns indicadores em um questionário muito aberto ele dificulta eu acho que Buscar uma avaliação e traçar inclusive alguns indicadores em um questionário muito aberto ele dificulta Aplicabilidade do questionário Tem que ser fechado e com perguntas realmente que você consiga Que sirva Que você adéqüe a qualquer realidade Tem que ser fechado e com perguntas realmente que você consiga Que sirva Que você adéqüe a qualquer realidade Aplicabilidade do questionário 169 Tem municípios que vai ter uma realidade que o questionário se aplica mas também tem municípios que você vai por exemplo no Norte que aquele questionário ali você sabe que não vai ter uma aplicabilidade boavai ser muito negativo Tem municípios que vai ter uma realidade que o questionário se aplica mas também tem municípios que você não vai ter uma aplicabilidade boa Caráter fiscalizador O que a gente fez foi basicamente uma fiscalização uma investigação O que a gente fez foi basicamente uma fiscalização uma investigação Caráter fiscalizador Quando eu penso no monitoramento eu penso assim nós também somos parte da execução do PNAE então numa esfera diferente nós somos parte Então seria mais o conceito de acompanhamento dessa execução e no que eu vi é como se fosse assim estou por cima então eu vou lá fiscalizar Nós também somos parte da execução do PNAE Acompanhamento contínuo Eu não sei se hoje aquele município se ele está seguindo as orientações que nós demos ainda hoje até hoje Eu não sei se hoje aquele município se ele está seguindo as orientações que nós demos ainda hoje até hoje Caráter fiscalizador 170 Nós não temos um monitoramento nós temos uma fiscalização nós vamos para o município para ver denúncia Ministério Público Então nós não temos nossa parte nunca nossa parte não está sendo vista então entre aspas nós estamos fazendo monitoramento Sim por que vamos lá e orientamos da forma que é o monitoramento mas não no cronograma que nós agendamos Nós não temos um monitoramento nós temos uma fiscalização Atendimento às denúncias do Órgãos de Controle Nós vamos para o município para ver denúncia Ministério Público Então nós não temos nossa parte nunca nossa parte não está sendo vista Aplicação dos questionários Agora está bem melhor nós tivemos questionários difíceis muita coisa que não adianta você botar Teria que ter espaços abertos nós tivemos questionários difíceis muita coisa que não adianta você botar Formato dos questionários 171 Agora eu acho a parte de gestão um pouco falha um pouco fraca porque quando você pede a parte licitatória para você orientar no nosso questionário não tem Não tem muita coisa ali Não tem praticamente nada Agora eu acho a parte de gestão um pouco falha um pouco fraca Formato dos questionários Você não tem do CAE Acho que poderia ter mais coisa Eu ainda não pensei muito no que colocar mas algumas coisas eu acho que poderia ter Justificar porque não estão fazendo porque é tudo x ok não sei Você não tem do CAE Acho que poderia ter mais coisa Formato do questionário Tudo começa na licitação você tem que ver como comprou tem que mostrar para o gestor que aquele dinheiro que tá ali tem que ser bem utilizado e você só vai vê isso na licitação nos processos nas notas fiscais nas compras aí sim dali você vê na ponta ai você vai na escola Tudo começa na licitação você tem que ver como comprou tem que mostrar para o gestor que aquele dinheiro que tá ali tem que ser bem utilizado Formato do questionário 172 eu penso que essas entrevistas deveriam fazer um modo indicadores pode até falar indicadores poderia ser informações tirar conteúdos informações sobre aquilo mapear isso Os questionários nunca foram usados para isso a única coisa que acontece com seus questionários é você usar o conteúdo para o seu relatório só informações para o seu relatório mas que poderia ser usados poderia e para muita coisa indicadores até mesmo fazer um banco de dados para aquela prefeitura o que é que fazem como é feito o que as crianças gostam quais foram os erros que aconteceram eu penso que essas entrevistas deveriam fazer um modo indicadores pode até falar indicadores poderia ser informações tirar conteúdos informações sobre aquilo mapear isso Sistematização dos dados coletados A única coisa que acontece com seus questionários é você usar o conteúdo para o seu relatório 173 3 NÚCLEO DIRECIONADOR MONITORAMENTO LIMITES E POSSIBILIDADES Unidade de Contexto Unidade de Significado Temática A gente não consegue com esses instrumentos fazer monitoramento a gente vai continuar fazendo fiscalização A gente vai continuar fazendo fiscalização Caráter fiscalizador Até por que o planejamento desse ano a gente já começou sem indicar municípios para monitorar e vamos continuar fazendo um trabalho de fiscalização Até porque o planejamento desse ano a gente já começou sem indicar municípios para monitorar Falta de planejamento Vamos continuar fazendo um trabalho de fiscalização Caráter fiscalizador Tenho um pouco de dificuldade em responder pois o que a gente faz não é monitorar O que a gente faz não é monitorar Falta da concepção de monitoramento Nós fizemos a fiscalização e não sabemos se aquilo que deixamos anotado se aquelas Nós fizemos a fiscalização e não sabemos se aquilo que deixamos anotado se Falta de acompanhamento contínuo 174 questões que nós levantamos foram cumpridas Nunca mais tive noticias aquelas questões que nós levantamos foram cumpridas E traga as mesmas informações e depois façam com que elas sejam processadas de uma forma informe para a gente ter um resultado Traga as mesmas informações e depois façam com que elas sejam processadas de uma forma Falta de sistematização e análise das informações coletadas A principal falta de recursos humanos Falta de recursos humanos Escassez de recursos humanos Talvez um modelo ideal também de monitoramento que a gente tá tentando desenhar e infelizmente a gente ainda não colocou muito isso em pratica A gente tá pensando em fazer esse ano um piloto Talvez um modelo ideal também de monitoramento que a gente tá tentando desenhar Falta da concepção de monitoramento nós não temos treinamento em muitas áreas nós não temos treinamento em muitas áreas Falta de capacitação Que seriam ideais para gente poder fazer Ter contatos com outras esferas outros ministérios que já tenham essa facilidade e já monitorem seus programas de políticas Ter contatos com outras esferas outros ministérios que já tenham essa facilidade e já monitorem seus programas de políticas publicas Fortalecimento da intersetorialidade entre os órgãos 175 públicas pra que a gente também passe a fazer isso Hoje a gente não tem Outra questão de dificuldades Disso aqui como um todo não ser estruturado como uma coordenação mesmo Não ser estruturado como uma coordenação mesmo Falta de autonomia das coordenações Eu não consigo remanejar ou planejar ou até executar da forma que eu penso ser satisfatório então acaba que a gente fica meio preso Então pra mim as maiores dificuldades Eu não consigo remanejar ou planejar ou até executar da forma que eu penso ser satisfatório Falta de autonomia das coordenações Elas não estão iguais não tem esse nivelamento Elas não estão iguais Nivelamento da equipe As pessoas precisam dessa qualificação Não há padronização mas chega próximo disso para que você oriente uma coisa e seu companheiro oriente outra As pessoas precisam dessa qualificação Capacitação Ausência de método Não há padronização mas chega próximo disso para que você oriente uma coisa e seu companheiro oriente outra O principal problema não são nem os é o suporte é o apoio que esses técnicos Falta de apoio logístico 176 técnicos do monitoramento é o suporte é o apoio que esses técnicos precisam porque não tem em uma equipe em quantidade para viajar só precisam porque não tem em uma equipe em quantidade para viajar só Falta você ter esse tempo para você se preparar quando você se prepara você sabe Falta você ter esse tempo para você se preparar Nivelamento da equipe Você não vai saber exatamente o que você vai encontrar lá mas você vai ter uma noção e eu acho que aí pode te ajudar já a tirar dúvidas a esclarecer um monte de coisa que quando você chega lá você já vai ter uma postura mais firme e mais padronizada com que todos os outros técnicos pensam Você não vai saber exatamente o que você vai encontrar lá mas você vai ter uma noção Capacitação Você já vai ter uma postura mais firme e mais padronizada Ausência de método Se você não tem uma coordenação ali direta você precisa de uma outra pessoa pra tá Isso atrapalha ainda mais falta não sei se seria autonomia Se você não tem uma coordenação ali direta Isso atrapalha ainda mais falta não sei se seria autonomia Falta de apoio logístico 177 Um cronograma precisa ser definido e eu acho que a coordenação tem que ter mais liberdade Um cronograma precisa ser definido e eu acho que a coordenação tem que ter mais liberdade Autonomia As dificuldades que eu acho é mais na questão do planejamento As dificuldades que eu acho é mais na questão do planejamento Falta de planejamento A falta de definição dos indicadores O que o Programa está querendo buscar com esse monitoramento não existe traçado A falta de definição dos indicadores Falta de definição dos indicadores Ausência de critério para a seleção dos municípios Ausência de critério para a seleção dos municípios Ausência de método Você visita um município na Região Sul aí se você tiver traçado um indicador percentual de crianças portadoras de patologias ligadas a nutrição Que não existe os indicadores traçados Que não existe os indicadores traçados Falta de definição de indicadores Aí você tem a falta de critérios de seleção de municípios seleciona o município na Falta de critérios de seleção de municípios Ausência de método 178 Região Sul que o gestor utiliza bastante recursos para compra da alimentação e pega um município lá na Região Norte sabe E aplica aqueles questionário com as mesmas perguntas é obvio que aquele município da Região Norte não tem uma nutricionista ele não investe recurso E aplica aqueles questionários com as mesmas perguntas Formato dos questionários Falta de planejamento é o que mais atrapalha o retorno de você ter De saber o que aconteceu com esse monitoramento Falta de planejamento Falta de planejamento Parte do monitoramento que nós fazemos digamos à distância por meio dos ofícios da documentação eu não vejo esse acompanhamento acontecendo de fato Parte do monitoramento que nós fazemos digamos à distância por meio dos ofícios da documentação eu não vejo esse acompanhamento acontecendo Acompanhamento contínuo das denúncias Alguém faz uma denúncia e nós por não estarmos fazendo esse acompanhamento Nós por não estarmos fazendo esse acompanhamento esse monitoramento de Base de dados das denúncias 179 esse monitoramento de uma forma mais próxima a gente tem dificuldade de responder a essas situações específicas no caso de denúncia uma forma mais próxima a gente tem dificuldade de responder Falta de acompanhamento contínuo das denúncias A gente aciona esse Conselho Em muitos casos não nos dá um feedback não nos dá resposta Nós não temos nenhum mecanismo de controle pra saber pra voltar atrás pra solicitar novamente a esse CAE uma nova resposta e aí aquela situação aquela denúncia para por ali A gente aciona esse Conselho Em muitos casos não nos dá um feedback não nos dá resposta Efetividade na atuação dos Conselhos Banco de dados das denúncias Alguém do município denuncia a gente aciona o CAE o CAE não responde aquilo morre Cinco anos depois se você pega a pasta daquele município tá lá nós mandamos um ofício pro CAE e não houve resposta Nós mandamos um ofício pro CAE e não houve resposta Método de treinamento dos Conselhos 180 Se eu quero saber um indicador de efetividade da execução do meu Programa lá na ponta e se eu não tenho dados de ouvir esses digamos beneficiários desse Programa para saber que a minha ação teve influência sobre a vida deles eu não tenho como alimentar esses indicadores então em termos de visibilidade do Programa de mostrar a efetividade das ações aqui no âmbito da CoordenaçãoGeral o monitoramento O cerne para tudo isso O monitoramento é ponto crucial para isso Eu não tenho como alimentar esses indicadores então em termos de visibilidade do Programa de mostrar a efetividade das ações aqui no âmbito da CoordenaçãoGeral Método de monitoramento O monitoramento é ponto crucial para isso Acompanhamento contínuo A dificuldade que nós temos é ter um rumo Nós não temos assim de fazer um cronograma não não adianta não se obedece A dificuldade que nós temos é ter um rumo Falta de planejamento Cumprir o planejado porque todo planejamento estratégico é assim Cumprir o planejado porque todo planejamento estratégico Falta de planejamento Isso não acontece porque não tem Não existe o comprometimento com o Comprometimento institucional 181 comprometimento então não existe o comprometimento com o monitoramento monitoramento Os órgãos TCU CGU está cobrando tem que ter mas não temos porque não tem o comprometimento no monitoramento Eu não vejo isso porque se faz uma planilha se faz um planejamento arranjase tudo e daqui a pouco isso morre aí vaise apagar incêndio porque o TCU pediu par ir lá o Ministério mandou fazer isso Se faz um planejamento arranjase tudo e daqui a pouco isso morre Falta de planejamento Não é a falta de planejamento porque planejamento tem é a falta de cumprimento desse monitoramento É a falta de cumprimento desse monitoramento Falta de planejamento Nós temos pouca gente viajando dizem que vão e depois não vão aí corta todo planejamento Nós temos pouca gente viajando Escassez de recursos humanos Nós não temos técnicos que realmente se comprometem a fazer Nós não temos técnicos Escassez de recursos humanos 182 Voltar os relatórios assinados em tempo hábil porque mandar é uma coisa voltar é outra e não sai daqui Tem relatório que tem mais de seis meses Porque mandar é uma coisa voltar é outra e não sai daqui tem relatório que tem mais de seis meses Autonomia da área O relatório fica seis meses para ser devolvido e o município está esperando O relatório fica seis meses para ser devolvido e o município está esperando Falta de planejamento Falta de pessoal cumprir o planejamento e a devolução dos relatórios tem que ser em tempo hábil isso tem que acontecer Falta de pessoal Escassez de recursos humanos Cumprir o planejamento Falta de planejamento Os relatórios podem ser feitos no mesmo padrão mas eles tem que sair com rapidez Eles relatórios tem que sair com rapidez Autonomia da coordenação de monitoramento Eu entrego o relatório para fazer a correção nisso já demora Eu corrijo depois vai Eu entrego o relatório para fazer a correção nisso já demora Autonomia da coordenação de monitoramento 183 para assinar e nisso de assinar tem quatro meses Eu cheguei em março eu entreguei meu relatório em março e já tá a quatro meses esperando para sair daqui eu entreguei em março Já tá a quatro meses esperando para sair daqui eu entreguei em março Escassez de recursos humanos Na ponta eu não mudaria muito eu pelo menos faria do jeito que eu faço Eu vou na ponta peço apoio converso com o gestor faço entrevista faço os questionários trabalho com as crianças vou nas escolas faço reunião com os conselhos reunião com o departamento jurídico se precisar enfim Na ponta eu não mudaria nada Na ponta eu não mudaria muito eu pelo menos faria do jeito que eu faço Padronização do método Eu faço é um roteiro que já é antigo Eu faço é um roteiro que já é antigo Padronização do Método Eu acho que o ideal seria ter uma coordenação de monitoramento Eu acho que o ideal seria ter uma coordenação de monitoramento Gestão institucional do monitoramento 184 O ideal seria uma coordenação de monitoramento mesmo e com os servidores capacitados O ideal seria uma coordenação de monitoramento mesmo Autonomia E com os servidores capacitados Capacitação As dificuldades eram grandes porque a gente tinha pouco pessoal disponibilidade orçamentária era baixa para fazer esse tipo de trabalho Tinha pouco pessoal disponibilidade orçamentária era baixa para fazer esse tipo de trabalho Escassez de recursos humanos Você tem um órgão centralizado num único local que é em Brasília e para você acompanhar e fiscalizar E monitorar e fiscalizar que seja 5564 municípios num país com dez funcionários Você tem um órgão centralizado num único local que é em Brasília e para você acompanhar e fiscalizar E monitorar e fiscalizar que seja 5564 municípios num país com dez funcionários Orçamento para a atividade de monitoramento Descentralização das ações do Programa para os Estados Nós chegamos a ter até cinco pessoas dentro do setor só para fazer o trabalho então vc acaba tendo que utilizar pessoas de fora que muitas vezes não dominam o Programa Nós chegamos a ter até cinco pessoas dentro do setor só para fazer o trabalho Escassez de recursos humanos 185 Tem que fazer uns treinamentos relâmpagos que ficam Acabam ficando superficiais e isso prejudica no monitoramento Tem que fazer uns treinamentos relâmpagos Capacitação Falta de planejamento o Programa de Alimentação Escolar por ser um programa de alimentação ele exige um conhecimento técnico que vai além da aplicação propriamente dita do recurso Você tem que também pensar na qualidade daquilo que está sendo consumido Exige um conhecimento técnico Perfil dos técnicos do Programa Então o Programa não tinha um sistema informatizado que pudesse dar o retorno desses trabalhos que eram feitos lá na ponta Não tinha um sistema informatizado que pudesse dar o retorno Sistematização e análise das informações coletadas Falta de sistema informatizado para a coleta de dados e produção de resultados Os questionários a gente modificava ele a Os questionários a gente modificava ele a Formato dos questionários 186 cada tempo porque a gente estava sempre achando que ainda não era aquilo que a gente queria então a gente na verdade a gente estava na questão das tentativas ainda de chegar ao monitoramento cada tempo porque a gente estava sempre achando que ainda não era aquilo que a gente queria Monitoramento de fato de fato nós nunca tivemos foi sempre uma tentativa de monitorar Todos os anos até no mesmo ano revia todos os questionários mudava o formato deles porque achava que aquele não era o apropriado para se fazer o monitoramento Monitoramento de fato de fato nós nunca tivemos Caráter fiscalizador Revia todos os questionários mudava o formato deles Formato do questionário Não tinha pessoal qualificado não tinha estrutura para fazer não tinha sistema que nos ajudasse e não tinha pessoas eu falei né Qualificadas em algumas áreas que pudessem nos orientar dar o norte para fazer Não tinha pessoal qualificado Escassez de recursos humanos qualificados Não tinha sistema que nos ajudasse Ausência de sistema informatizado 187 4 NÚCLEO DIRECIONADOR MONITORAMENTO NECESSIDADES DE FORMAÇÃO Unidade de Contexto Unidade de Significado Temática Os técnicos do PNAE tem muito boa vontade são técnicos comprometidos São técnicos comprometidos Comprometimento Precisamos de embasamento mais técnico para fazer o monitoramento Precisamos de embasamento mais técnico Formação A gente tem pessoas que tem nível de formação diversa pessoas com tempo de Programa diferenciado com experiências diferenciadas A gente tem pessoas que tem nível de formação diversa pessoas com tempo de Programa diferenciado com experiências diferenciadas Uniformização do Comprometimento A gente teria que ser melhor capacitado para fazer monitoramento A gente teria que ser melhor capacitado Formação O embasamento teórico é diferente dos técnicos cada um faz um embasamento à luz O embasamento teórico é diferente dos técnicos cada um faz um embasamento à luz Uniformização do conhecimento 188 do que você tem eu faço assim eu faço assim sem ter uma coisa padronizada uma coisa sistematizada do que você tem Diversidade de formação Cada um faz de acordo com o que acha que é certo Cada um faz de acordo com o que acha que é certo Método de formação A gente tem que falar a mesma fala A gente tem que falar a mesma fala Uniformização do conhecimento A gente tem a arranjar um jeito de capacitar para todo mundo ter um mesmo nível de formação A gente tem a arranjar um jeito de capacitar para todo mundo Formação A qualificação não é a mesma para todos A qualificação não é a mesma para todos Uniformização do conhecimento Eu fiz a opção colocar uma pessoa que eu achasse que estivesse qualificada com quem não estivesse qualificada para aprender mas era para aprender tudo não era só para uma pessoa ficar separada fazendo uma coisa e outra pessoa fazendo outra Eu fiz a opção colocar uma pessoa que eu achasse que estivesse qualificada com quem não estivesse qualificada para aprender Formação prática in loco 189 Para unificar o entendimento pelo menos da legislação pertinente ao PNAE que seja como um todo Para unificar o entendimento Uniformização de procedimentos Assim na área processo licitatório elaboração de relatório documentos Assim na área processo licitatório elaboração de relatório documentos Formação setorializada As pessoas precisam dessa qualificação As pessoas precisam dessa qualificação Formação Quando você sai desse quadro de servidores aí o nível cai muito Aí eu acho que é nivelado bem por baixo Aí o nível cai muito Aí eu acho que é nivelado bem por baixo Formação Mas eu acho que lá dentro do monitoramento tem uma qualificação sim não acho que é a ideal acho que precisa de um apoio precisa de mais qualificação e precisa que todo mundo tenha uma mesma direção Precisa que todo mundo tenha uma mesma direção Uniformização de procedimentos Falta capacitação falta um treinamento Falta capacitação falta um treinamento Formação 190 Falta você ter um tempo para se preparar As viagens que eu fiz elas foram super corridas eu cheguei no local sem saber basicamente nada uma eu até sabia alguma coisa Falta você ter um tempo para se preparar Método de Formação Não tem o nível padrão tem servidores que são mais qualificados que outros Tem servidores que são mais qualificados que outros Uniformização de conhecimento Tem servidor que independente do tempo de serviço tem mais qualificação do que um servidor que esta há mais tempo às vezes é a até a questão do interesse pela abrangência do programa a quantidade de ações que são prevista na legislação Tem servidor que independente do tempo de serviço tem mais qualificação do que um servidor que esta há mais tempo Uniformização de conhecimento Os servidores não estão preparados para a realização do monitoramento não eu acho que falta muito treinamento uma padronização Os servidores não estão preparados para a realização do monitoramento Formação falta muito treinamento uma padronização Formação 191 O monitoramento hoje até tem situações que se confunde um pouco com auditoria Tem que analisar procedimentos licitatórios hoje tem a questão da compra da agricultura familiar que é consulta pública quer dizer chamada publica a questão da qualidade dos alimentos Tem situações que se confunde um pouco com auditoria Tem que analisar procedimentos licitatórios hoje tem a questão da compra da agricultura familiar que é consulta pública Formação setorializada A questão nutricional também um técnico que vai monitora não precisa ser formado em nutrição mas ele precisa pelo menos uma noção uma idéia a questão da higiene as praticas da vigilância sanitária Ele precisa pelo menos uma noção uma idéia a questão da higiene as praticas da vigilância sanitária Formação setorializada Os técnicos não são preparados e isso deixa o trabalho bem prejudicado porque eu acho que você não pode ter confiança naquilo que o técnico tá trazendo de retorno lá do município Os técnicos não são preparados Formação 192 Tem aí o setor dentro do FNDE que trabalha com essa a questão de qualificação dos servidores eu acho que é uma questão assim mais de empenho da coordenação e disponibilidade de tempo A questão de qualificação dos servidores Formação Capacitando melhor e definindo melhor os critérios e o que se busca realmente com o monitoramento eu acho que vai ajudar bastante aqui internamente Capacitando melhor e definindo melhor os critérios e o que se busca realmente com o monitoramento Método de formação Se nós estamos pensando que o monitoramento é x por mais que tenha níveis de formas focos diferentes que se vá fazer esse monitoramento mas todos tem que ter em mente x e não y Mas todos tem que ter em mente x e não y Uniformização de conhecimento O conceito que eu trouxe de monitoramento é do monitoramento sanitário ambiental porque eu nunca tive uma formação específica dentro deste contexto de políticas Eu nunca tive uma formação específica dentro deste contexto de políticas públicas Formação 193 públicas Alguns aspectos eu peco por não ter uma formação específica nessa área nutrição uma leitura específica nessa área Então uma formação primeiro de concepção com os técnicos para se pensar o trabalho que é feito Então uma formação primeiro de concepção com os técnicos Formação setorializada Deve se orientar nisso e nisso até aquela legislação de controle de qualidade mesmo da ANVISA Orientar nisso e nisso até aquela legislação de controle de qualidade mesmo da ANVISA Formação setorializada Eu tenho uma deficiência também na questão documental Na hora que você está executando o monitoramento nos moldes que a gente faz você está ali olhando documentação depois você vai dar uma orientação eu tenho dificuldade de encontrar ali naquela documentação alguns elementos está certo está errado porque eu não tenho formação na área de direito Eu tenho uma deficiência também na questão documental Formação setorializada 194 Que precisaria ter espaços abertos para se discutir isso para sabe ah Vamos pedir um curso específico da área de controle de qualidade para quem está envolvido com monitoramento ou um a respeito de licitações e contratos sabe Eu sinto falta dessa formação Vamos pedir um curso específico da área de controle de qualidade para quem está envolvido com monitoramento ou um a respeito de licitações e contratos sabe Eu sinto falta dessa formação Formação setorializada Existe todo um processo de convencimento de formação Existe todo um processo de convencimento de formação Método de formação Você precisa preparar as pessoas no caso os técnicos Esse preparar envolve todo um processo de formação que também não é uma coisa que dá para se esperar de um dia para o outro é um processo Esse preparar envolve todo um processo de formação que também não é uma coisa que dá para se esperar de um dia para o outro é um processo Método de formação Eu sou contra fazer capacitação em curso Eu sou contra fazer capacitação em curso Formação prática in loco O que tem que fazer é ir lá para ponta Você só aprende na ponta você aprende o processo você só aprende se olhar o Você só aprende na ponta você aprende o processo você só aprende se olhar o processo Formação prática in loco 195 processo não adianta mandar esses processos para cá você tem que ta lá junto no processo original se não não adianta A qualificação ele já tem Todos aqui do monitoramento já tem qualificação A qualificação ele já tem Fortalecimento da qualificação O nível tá satisfatório agora o que precisa lógico vai uma pessoa que nunca foi no monitoramento tem que ir com outra para aprender Uma pessoa que nunca foi no monitoramento tem que ir com outra para aprender Formação prática in loco Qualificar em que Fazer curso de 8666 eu acho que isso não é qualificar eu acho que as coisas só aprendem quando você vai na ponta Você só aprende a monitorar se você estiver na ponta Eu acho que as coisas só aprendem quando você vai na ponta Você só aprende a monitorar se você estiver na ponta Formação prática in loco Eu acho que o nível já está satisfeito suficiente Cada um já tá fazendo o curso separado por vontade própria O quê eu acho bom Agora aprender monitoramento por Agora aprender monitoramento por curso Não existe pra mim isso não existe ou você vai lá e aprende na marra Formação prática in loco 196 curso Não existe pra mim isso não existe ou você vai lá e aprende na marra Vai lá vai ver as dificuldades aí você começa a entender Os servidores não sabem o que é monitoramento nem conhecem o Programa e é exigido dele que ele vá Se tiver a sorte como eu tive de ir com alguém que conheça que tem alguém com experiência de acompanhar Os servidores não sabem o que é monitoramento nem conhecem o Programa e é exigido dele Método de formação Tem que ter capacitação por parte do FNDE mesmo por que chega na ponta e tem que ver lei de orçamento processo licitatório e se você não conhece nada disso Você vai lá para ver a questão do recurso e como tá sendo executado adequadamente Tem que ter capacitação por parte do FNDE Formação Na coordenação de monitoramento lá dentro é muito aberto à discussão se você quer aprender e tem interesse em saber você aprende muito Então isso facilita há uma auto Na coordenação de monitoramento lá dentro é muito aberto à discussão se você quer aprender e tem interesse em saber você aprende muito Então isso facilita há uma auto Formação por meio de troca de experiências 197 qualificação qualificação Procedimentos licitatórios você vai ter que saber olhar analisar como agora a gente tem que olha LOA PPA onde é que você vai achar o programa a ação de onde vem a transferência São coisas que teria que capacitar Procedimentos licitatórios você vai ter que saber olhar analisar como agora a gente tem que olha LOA PPA Formação setorializada Eu acho que vou ter dificuldades em procedimento licitatório Eu vou ter uma certa dificuldade nisso Na parte nutricional nem tanto porque é minha área de formação apesar de não atuar na área Agricultura familiar Vou ter dificuldades em procedimento licitatório Formação setorializada Capacitaria na agricultura familiar Parece que sempre surge uma dúvida então acho eu que ficaria insegura Tem coisas muitas especificas Agricultura familiar Parece que sempre surge uma dúvida Formação setorializada Com relação ao monitoramento propriamente dito a gente pode dizer que era Qualificação mesmo ninguém teve Formação em monitoramento e 198 nenhum Qualificação mesmo ninguém teve Não por um bom tempo não avaliação As pessoas que realmente trabalhavam no monitoramento não tinham qualificação nenhuma As pessoas que realmente trabalhavam no monitoramento não tinham qualificação nenhuma Formação em monitoramento e avaliação Primeiro na questão do que é monitoramento e avaliação Depois ferramentas que possam ser utilizadas na questão do monitoramento Depois ferramentas que possam ser utilizadas na questão do monitoramento Formação em monitoramento e avaliação Tem que conhecer o Programa e saber como ele funciona por dentro porque uma pessoa que está de fora e não conhece as nuances do Programa ele muitas vezes ele comete um erro de interpretação quando ele chega lá na ponta e vê uma determinada situação Tem que conhecer o Programa e saber como ele funciona por dentro Formação em monitoramento e avaliação