AVALIAÇÕES
    
PROJETOS DE AVALIAÇÃO EM LARGA ESCALA

A partir de 1994, a FUNDAÇÃO CESGRANRIO desenvolveu projetos para avaliações tanto nacionais, quanto estaduais e municipais. Ao introduzir no Brasil a TRI, a FUNDAÇÃO CESGRANRIO se destacou como uma das poucas instituições que dominam e praticam essa tecnologia, ombreando-se com países mais avançados da Europa e da América do Norte, e colocando o Brasil com visibilidade internacional na área de avaliação de sistemas escolares.

A TRI é uma nova maneira de obter e descrever os resultados dos testes escolares. Permite que os parâmetros de um item de teste de escolaridade não se modifiquem, mesmo quando ele é aplicado a grupos diferentes de alunos e em várias vezes sucessivas.

A TRI supõe que o desempenho do aluno em um teste pode ser explicado por características ou variáveis latentes, subjacentes (não observáveis diretamente) ao aluno. Em geral, procura-se construir itens de testes explicados por uma única variável. A TRI modela a probabilidade de o aluno dar uma resposta correta ao item em função da sua proficiência. Quanto maior a proficiência, maior a probabilidade de o aluno acertar o item.

A construção de um banco de itens calibrados, segundo a TRI, foi realizada experimentalmente em uma amostra da Rede Municipal do Rio de Janeiro, em 6.854 alunos, em 1994.

Utilizando a TRI, a FUNDAÇÃO CESGRANRIO desenvolveu inúmeros projetos de avaliação de sistemas escolares, destacando-se entre eles: o Sistema de Avaliação da Educação Básica do país (SAEB), desde 1995, e a Avaliação Nacional de Rendimento Escolar (Prova Brasil), em 2005 e em 2007.

Sistema Nacional de Avaliação da Educação Básica - SAEB

Em 1995, a FUNDAÇÃO CESGRANRIO conduziu, em conjunto com a Fundação Carlos Chagas, o Sistema Nacional de Avaliação da Educação Básica (SAEB), abrangendo uma amostra de cerca de 100 mil alunos brasileiros de 4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio, de escolas públicas e particulares, representativas de todos os estados da Federação.

Para a avaliação das proficiências dos alunos brasileiros, foram aplicados 1.245 itens de teste de matemática e de leitura. Os itens foram construídos obedecendo às matrizes de especificação dos conteúdos das áreas e das habilidades a serem avaliadas, através de análise dos programas de ensino das Secretarias de Educação, de consulta a grupos de especialistas, de currículos e de professores das áreas curriculares e séries pesquisadas.

Ainda em 1995, foi realizada a pré-testagem do SAEB/97, com a elaboração de 9.000 itens, diagramados em 340 cadernos distintos de provas, que foram aplicados, por amostragem, em 14 estados do país.

A partir de 1997, a FUNDAÇÃO CESGRANRIO concorreu e ganhou as licitações para a realização do SAEB e o fornecimento de itens de teste para o Banco Nacional de Itens nesse ano, em 1999, 2001 e 2003.

Em 1997, a FUNDAÇÃO CESGRANRIO aplicou o SAEB/97 em cerca de 220 mil alunos de 5767 turmas de 4ª e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio de todo o país, incluindo provas de Português, Matemática e Ciências para o Ensino Fundamental e de Português, Matemática, Física, Química e Biologia para o Ensino Médio. Além da elaboração de questões, a FUNDAÇÃO CESGRANRIO foi responsável pela preparação dos cadernos, aplicação das provas, correção e análise dos resultados. No Estado do Rio de Janeiro, coube à FUNDAÇÃO CESGRANRIO, no final de 1997, avaliar o Ensino Regular da rede estadual das 4ª e 8ª séries, num total de 140 mil alunos, e avaliar, pela primeira vez no país, o Ensino Supletivo (35 mil alunos).

Em 1999, a Cesgranrio, em consórcio, realizou uma nova edição do SAEB, aplicando provas e outros instrumentos a uma amostra de 279.764 alunos de 4ª e 8ª séries do Ensino Fundamental e 3ª série do Ensino Médio, abrangendo, além das disciplinas testadas em 1997, as disciplinas História e Geografia. Os resultados do SAEB foram divulgados em novembro de 2000.

Em 2001, repetindo a parceria anterior, a FUNDAÇÃO CESGRANRIO conduziu mais uma vez a avaliação nacional de cerca de 373.424 alunos brasileiros nas disciplinas de Língua Portuguesa e Matemática.

Em 2003, como em 1997, a Cesgranrio realizou sozinha este ciclo do SAEB. Foram avaliados 300.000 alunos, nas disciplinas de Língua Portuguesa e de Matemática, nas séries do SAEB. A pesquisa de campo ocorreu em novembro de 2003 e, neste ano, um estudo sobre o desempenho dos alunos participantes do Programa Bolsa Escola – projeto prioritário do Governo Federal – foi realizado com cerca de 50.000 alunos da amostra nacional, visando a verificar os níveis de aprendizagem alcançados por esses alunos, tendo como referência a escala de desempenho do SAEB.

Em 2007, a FUNDAÇÃO CESGRANRIO, segundo determinação do MEC, aplicou o SAEB junto com a Prova Brasil.

Avaliação Nacional do Rendimento Escolar – Prova Brasil

Em 2005, por licitação do Ministério da Educação, a FUNDAÇÃO CESGRANRIO realizou a avaliação de alunos de escolas públicas do Ensino Fundamental, das redes municipais e estaduais. Participaram da avaliação 3.306.378 alunos, da 4ª a 8ª série, de 120.500 turmas, localizadas em 5.409 municípios.

A população de alunos da 4ª série respondeu a um conjunto de 140 itens, apresentados em 21 cadernos distintos, sendo que cada aluno respondeu a um caderno com quatro blocos de questões com 10 itens (dois blocos de Língua Portuguesa e dois de Matemática), num total de 40 itens. Na 8ª série, foram oferecidos 168 itens, distribuídos em sete blocos de 12 itens e cada aluno respondeu a um caderno de quatro blocos, sendo dois de Língua Portuguesa e dois de Matemática, num total de 52 itens.

A Prova Brasil foi realizada pela primeira vez, em 2005, e o INEP enviou, a cada escola, um relatório de resultados dos alunos de cada turma participante.

Em 2007, novamente a FUNDAÇÃO CESGRANRIO aplicou a Prova Brasil, desta vez em conjunto com o SAEB e em consórcio com o CESPE/UNB. A Prova Brasil e o SAEB abrangeram, aproximadamente, 5,5 milhões de alunos das duas séries avaliadas (4ª e 8ª) e da 3ª série do Ensino Médio, no caso do SAEB, distribuídos a cerca de 181 mil turmas de 50 mil escolas localizadas em 5.500 municípios brasileiros. A aplicação ocorreu no período de 5 a 20 de novembro de 2007.

SIADE - Sistema de Avaliações do Desempenho das Instituições Educacionais do Sistema de Ensino do DF

Implementar um processo de avaliação da Educação Básica no Sistema de Ensino do Distrito Federal, para subsidiar a Secretaria de Estado de Educação na formulação das políticas educacionais, foi o objetivo do SIADE, uma avaliação desenvolvida pela FUNDAÇÃO CESGRANRIO em 2008, 2009 e 2010.

O SIADE incluiu a avaliação do rendimento dos alunos do Ensino Fundamental e Médio e da gestão escolar, bem como, pioneiramente, das condições de oferta da Educação Infantil e da Educação Especial quanto à infraestrutura física, recursos humanos, organização interna, entre outros aspectos, e das políticas educacionais adotadas até então.

Avaliação do desempenho dos alunos da Fundação Bradesco

A FUNDAÇÃO CESGRANRIO desenvolveu um projeto de avaliação dos alunos da 5ª e da 9ª séries do Ensino Fundamental e da 3ª série do Ensino Médio, nas disciplinas de Língua Portuguesa e Matemática, atingindo um total de 11.860 alunos em todas as unidades da Fundação Bradesco, distribuídas em vários Estados brasileiros.

Os cadernos de prova foram elaborados utilizando-se os itens aplicados na Prova Brasil 2005, cedidos pelo INEP/MEC, permitindo que se colocassem os resultados na escala do SAEB para comparação do desempenho dos alunos da Fundação Bradesco.

Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo - SARESP

A FUNDAÇÃO CESGRANRIO responsabilizou-se, em 2004, 2005 e 2008, pela realização do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP), um sistema de avaliação censitário dos alunos dos Ensinos Fundamental e Médio da Rede Estadual de São Paulo e de escolas municipais e particulares que aderiram ao Sistema de Avaliação. No SARESP, a Cesgranrio avaliou as habilidades de leitura e escrita de 5.085.918 alunos, em 2004, e 6.062.465, em 2005, caracterizando a maior avaliação realizada, num único dia, no Brasil; e 2.054.694 em 2008 (apenas alunos da 2ª, 4ª, 6ª e 8ª séries do Ensino Fundamental, e 3º do Ensino Médio).

Coube à Cesgranrio a preparação do banco de questões, pré-testagem dos itens, organização, impressão e distribuição dos cadernos de teste e folhas de leitura ótica nas 89 Diretorias Regionais de Ensino. A aplicação nas turmas ficou a cargo das escolas, sob a coordenação das Diretorias e da Fundação para o Desenvolvimento da Educação (FDE). A Cesgranrio realizou ainda todo o processo de recolhimento das folhas óticas, a leitura e a crítica dos dados, a análise dos resultados do desempenho dos alunos e das escolas e a produção de boletins de resultados para cada escola.

Sistema Permanente de Avaliação da Educação Básica do Ceará (SPAECE)

Em 2004, a FUNDAÇÃO CESGRANRIO conduziu o Sistema Permanente de Avaliação da Educação Básica do Ceará (SPAECE), com a participação de 154.766 alunos da rede estadual e municipal de ensino, 2.000 diretores das escolas e 9.450 professores. Foram aplicadas provas e questionários a alunos da 4ª e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio, estas últimas através da Internet.

A Cesgranrio responsabilizou-se por todas as etapas de avaliação, que incluiu a pré-testagem de um banco de 3.000 itens de Língua Portuguesa e Matemática, treinamento dos aplicadores através de vídeo, confecção dos cadernos de teste e demais instrumentos, e realização do trabalho de campo.

Em 2006, a Cesgranrio, também por licitação, realizou o SPAECE, com a participação de 215.302 alunos, 4.933 diretores e 16.715 professores. Nesse SPAECE, a Cesgranrio também realizou todas as etapas da avaliação de 4ª e 8ª séries do Ensino Fundamental e de 3ª série do Ensino Médio.

Avaliação do Ensino no Rio Grande do Sul

Em 2005, a FUNDAÇÃO CESGRANRIO conduziu um processo de avaliação de alunos de 2ª e 5ª séries no Rio Grande do Sul. Foram avaliados 47.415 alunos das duas séries, de 104 municípios gaúchos. O projeto foi comandado pela UNDIME/RS - União de Dirigentes Municipais de Educação - e pela Secretaria Estadual de Educação.

Os resultados da 5ª série foram colocados na mesma escala do SAEB - Sistema de Avaliação da Educação Básica, e, para os da 2ª série, foi criado uma escala própria do desempenho dos alunos em leitura e matemática. Cada Secretaria Municipal de Educação recebeu um relatório completo do desempenho das suas escolas, além de todos os itens de provas com as suas estatísticas, clássicas e da TRI, com comentários sobre o desempenho dos alunos em cada item.

Cada escola recebeu um relatório (boletim) dos alunos por turma com referência aos resultados globais do município ou do Estado.

Programa Nova Escola - 2000, 2001 e 2003

Em 2000, a FUNDAÇÃO CESGRANRIO foi convidada pelo Governo do Estado do Rio de Janeiro a participar do Programa Nova Escola, um programa pioneiro na área de educação, que associava a remuneração do professorado e demais integrantes da equipe escolar ao rendimento da aprendizagem, visando a resgatar a credibilidade da escola pública e recuperar a autoestima do professor.

A FUNDAÇÃO CESGRANRIO fez a avaliação externa da qualidade das escolas estaduais em três aspectos: gestão escolar, indicadores de eficiência (repetência, evasão, distorção idade-série) e desempenho escolar dos alunos. Nestes três aspectos avaliativos, estavam incluídos 17 critérios que posicionavam as escolas em cinco níveis de desempenho.

Em 2000 e 2001, as escolas receberam relatórios circunstanciados sobre seu desempenho para que pudessem aperfeiçoar seu trabalho.

Avaliação da 4ª série do Ensino Fundamental do Município do Rio de Janeiro – 2002 e 2003

Foram avaliados 54.130 alunos, nas disciplinas de Língua Portuguesa e Matemática, do universo dos alunos da 4ª série do Ensino Fundamental da Rede Municipal.

Em 2003, a FUNDAÇÃO CESGRANRIO foi novamente convidada a participar da avaliação externa e do Subprojeto de Avaliação do Desempenho Escolar. Foram avaliados cerca de 173.000 alunos das 4ª e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio.

Avaliação da Escola Pública do Estado do Maranhão - 2001

Neste projeto, a FUNDAÇÃO CESGRANRIO avaliou, em Língua Portuguesa e Matemática, o universo dos alunos de 4ª e 8ª séries do Ensino Fundamental, de 3ª série do Ensino Médio, das classes de aceleração de 4ª e 8ª séries, de uma amostra de alunos de tele-ensino de Ensino Médio da Rede Estadual e de uma amostra de alunos da 4ª e da 8ª séries das Redes Municipais, totalizando 148.130 alunos.

Sistema de Avaliação das Escolas Estaduais do Tocantins – 2001

A FUNDAÇÃO CESGRANRIO avaliou o universo dos alunos de 4ª e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio da Rede Estadual, em Língua Portuguesa e Matemática, totalizando 39.639 alunos.

Avaliação dos Alunos das Escolas Municipais do Rio de Janeiro - 2000

Neste projeto, a FUNDAÇÃO CESGRANRIO avaliou, em Língua Portuguesa e Matemática, o universo de alunos da 6ª série do Ensino Fundamental, totalizando 72.000 alunos e 83.535 alunos do último ano do 1º ciclo. Esses alunos foram avaliados em competências de leitura,  através de um "kit" aplicado em situação de interação interpessoal com os alunos.

Avaliação dos Alunos das Escolas Não Seriadas do Distrito Federal - 1999

Foram avaliados nas disciplinas de Língua Portuguesa e Matemática o universo de alunos de 2ª e 5ª séries da rede pública do Distrito Federal, totalizando 49.142 alunos.

Avaliação da Rede Estadual do Rio de Janeiro – 1998

O SAEB/97 foi aplicado a 121.186 alunos de 4ª e 8ª séries do Ensino Fundamental Regular e do Supletivo, da Rede Estadual do Rio de Janeiro.

Avaliação da Rede Municipal de Niterói

Foram avaliados 13.500 alunos da 2ª a 8ª séries do Ensino Fundamental em três disciplinas: Língua Portuguesa, Matemática e Ciências.

Avaliação da Rede Municipal do Rio de Janeiro - 1996

140 mil alunos de 4ª e 8ª séries do Ensino Fundamental do Município do Rio de Janeiro foram avaliados com o banco de itens utilizado no SAEB/95 e posicionados também em escala de proficiências do SAEB.

TRI

A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos.