Color of the Culture


Encontrando  soluções  para  desafios  metodológicos:  inclusão  de  “Rubricas



Baixar 92.81 Kb.
Pdf preview
Página2/9
Encontro26.04.2021
Tamanho92.81 Kb.
1   2   3   4   5   6   7   8   9
Encontrando  soluções  para  desafios  metodológicos:  inclusão  de  “Rubricas 

Avaliativas” 

A  avaliação  foi  planejada  pelas  equipes  da  FRM  e  realizada  por  instituição 

externa

4

.  O  planejamento  foi  orientado  a  partir  do  referencial  teórico  de  “Avaliações 



Relevantes”  de  Jane  Davidson  (2004),  que  desenvolveu  a  metodologia  a  partir  do 

pensamento de Michael Scriven, sobre a lógica da avaliação, formulada em uma de suas 

principais publicações, Evaluation Thesaurus (SCRIVEN, 1991). 

                                                           

4

 A escolha do instituto responsável pela avaliação se deu por meio de processo licitatório. 




 

As “Avaliações Relevantes” estão fundamentadas em alguns pontos importantes. 



Como sintetiza Chianca (2013), uma avaliação é relevante e útil quando tem como foco 

os principais fatores que o projeto avaliado está buscando alcançar; quando está centrada 

no que é de fato importante para o “avaliando”; quando gera informações que são úteis, 

tanto no nível estratégico, quanto no nível prático; quando influencia e informa decisões 

e quando traz sugestões que auxiliam nas ações do projeto.   

 Assim, quando se iniciou a avaliação do projeto, havia a preocupação de formular 

perguntas  importantes  e,  de  fato,  avaliativas,  construídas  a  partir  dos  interesses  dos 

stakeholders sobre o que era útil e relevante conhecer sobre o ACDC.   

Para  formular  as  perguntas  avaliativas,  a  equipe  do  ACDC  se  reuniu  diversas 

vezes, com a equipe de pesquisa e avaliação da FRM, para esmiuçar e definir de forma 

clara quais eram os principais propósitos da avaliação, levando em conta todos os atores 

interessados  nos  resultados.  Isso  permitiu  que  a  avaliação  se  concentrasse  no  que  era 

realmente  importante  saber  sobre  o  ACDC,  evitando  o  excesso  de  informações  não 

relevantes.  

A avaliação foi estruturada em três etapas - linha de base, intermediária e somativa 

- visando responder às perguntas avaliativas a seguir:  

 

Quão  bem  os  diferentes  componentes  essenciais  da  metodologia  do  Projeto 



contribuíram para fortalecer a implementação da Lei 10.639/03? 

 

Quão bem o ACDC contribui para a criação ou o fortalecimento de articulações 



entre pessoas e instituições que apoiam a implementação da Lei 10.639/03? 

 

Qual a probabilidade das mudanças positivas provocadas pelo Projeto perdurarem 



após a finalização das ações planejadas pela equipe do Canal Futura? 

 

Onde,  para  quem,  e  por  que  o  Projeto  conseguiu  ou  não  produzir  resultados 



relevantes? 

Cientes  das  dificuldades  avaliativas  para  identificar  fatores  do  projeto  que 

pudessem  explicar  em  que  medida  o  ACDC  apoia  a  implementação  da  Lei  10.639/03 

investiu-se  na  combinação  de  métodos,  buscando  produzir  evidências  causais.  Para 

Chianca (2012) o aspecto limitante para a realização de inferências causais relaciona-se 

ao uso de uma única abordagem, quantitativa ou qualitativa. 




 

Definiu-se  um  conjunto  de  indicadores,  quantitativos  e  qualitativos,  que 



precisariam  ser  consideradas  pelos  avaliadores,  estruturando  uma  base  mínima  de 

informações necessárias para a validade e confiabilidade do resultado. Contemplaram-se 

dados  secundários,  como  o  Censo  Escolar  (2012)

5

  e  dados  primários,  considerando 



diferentes atores

 Com  os  gestores  de  secretarias  de  educação  e  escolas  e  também  com  os 

representantes de universidades parceiras e da sociedade civil realizaram-se entrevistas 

em  profundidade.  Com  os  educadores  da  rede  pública  foi  realizado  survey  amostral  e 

grupo  focal  para  aprofundar  as  percepções  mais  marcantes  sobre  o  projeto.  Já  com  os 

estudantes utilizaram-se a técnica photovoice, visando envolvê-los de forma mais efetiva 

na avaliação, captando percepções sobre o projeto por meio de imagens e discussões.  

Realizaram-se,  ainda,  estudos  de  caso,  em  vinte  escolas,  durante  oito  semanas, 

identificando contextos e variáveis que favoreceram a implementação da Lei, além dos 

componentes  do  projeto  que  mais/menos  apoiaram  as  escolas.  Essa  combinação  de 

metodologias,  quantitativas  e  qualitativas,  foi  essencial  para  que  se  chegasse  às 

evidências necessárias para responder as perguntas avaliativas. 

 As  equipes  da  FRM  e  do  instituto  responsável  pela  avaliação  acordaram  as 

expectativas  em  relação  à  comunicação  das  informações  avaliativas,  corroborando  os 

princípios  das  “Avaliações  Relevantes”  ao  definir  que  os  relatórios  fossem  analíticos, 

composto por evidências complementares - quantitativas e qualitativas - que ajudassem a 

gestão do projeto a refletir objetivamente sobre as contribuições e os desafios do ACDC. 

 Os  primeiros  relatórios  de  linha  de  base,  extensos  e  separados  por  abordagem 

(quantitativa e qualitativa), não facilitaram a compreensão do ponto inicial do projeto. Os 

relatórios  traziam  muitos  dados  e  descrições,  mas  faltava  a  dimensão  valorativa  que 

caracteriza uma avaliação. Para solucionar esse quadro foi necessário pensar em outras 

metodologias  que  contribuíssem  para  facilitar  não  apenas  a  compreensão  sobre  os 

principais valores e objetivos da avaliação, mas também que propiciassem comunicações 

mais objetivas e propriamente avaliativas. 

                                                           

5

 O Censo escolar é um levantamento de dados estatísticos educacionais de âmbito nacional realizado todos 



os  anos  pelo  Ministério  da  Educação  do  Brasil.  É  o  principal  instrumento  de  coleta  de  informações  da 

educação  básica,  que  abrange  as  suas  diferentes  etapas  e  modalidades  oferecidas  no  país  por  escolas 

públicas e particulares.  



 

Este cenário somado a experiência da FRM no uso da metodologia de Rubricas 



Avaliativas  encorajou  a  FRM  a  investir  em  uma  escala  avaliativa  capaz  de  comunicar 

mais  objetivamente  o  desempenho  do  projeto,  ressaltando  pontos  positivos  e  desafios. 

Desta forma, passamos a utilizar a metodologia de Rubricas Avaliativas para as etapas 

seguintes da avaliação do ACDC. 

A metodologia de Rubricas Avaliativas prevê as seguintes etapas: (1) a definição 

de  perguntas  avaliativas,  (2)  o  engajamento  de  diferentes  atores;  (3)  a  definição  de 

critérios  que  expressem  o  mérito  de  diferentes  ações  do  projeto;  (4)  a  definição  de 

evidências qualitativas e quantitativas alinhadas aos critérios de mérito e (5) a construção 

de uma escala de valor, que expresse quão bom é o projeto.  No caso do ACDC tínhamos 

realizado boa parte do passo a passo da metodologia, faltando a construção da escala de 

valor. 

Para  cada  pergunta  avaliativa  foi  discutido  e  definido  o  critério  revelador  do 

mérito do projeto e as evidências foram combinadas de forma a expressar os diferentes 

níveis de desempenho. O nível excelente expressaria o atendimento máximo ao critério 

de mérito e os demais níveis muito bom, bom, regular e ruim expressariam fragilidades 

mais e menos graves em relação ao critério de mérito. 

Definiu-se  uma  escala  de  desempenho  para  cada  pergunta  avaliativa,  conforme 

exemplo, a seguir

6



 



 




Compartilhe com seus amigos:
1   2   3   4   5   6   7   8   9


©historiapt.info 2019
enviar mensagem

    Página principal