Uma Escala de Proficiência Baseada na Descrição de Conhecimentos e Habilidades dos Candidatos em um Processo Seletivo para Ingresso na Universidade

Objetivo: Este trabalho busca verificar em que medida a prova elaborada para o Vestibular UNESP 2011 selecionou candidatos cujo perfil intelectual ajusta-se aos termos do Edital que a Universidade define para o seu processo seletivo. De acordo com este documento, o concurso vestibular consiste na selecao e classificacao de candidatos a matricula inicial nos Cursos de Graduacao da universidade e tem como objetivos: – Selecionar candidatos capazes de: articular ideias de modo coerente; compreender ideias, relacionando-as; expressar-se com clareza; conhecer o conteudo do curriculo da Educacao Basica do Estado de Sao Paulo; – Integrar os objetivos da Universidade aqueles desenvolvidos pelo sistema de Ensino Fundamental e Medio; – Dar condicoes para o desenvolvimento de potencialidades e aptidoes do aluno nas areas especificas da Universidade. Metodologia: Para desenvolver o trabalho, os resultados da prova de Conhecimentos Gerais do Vestibular Unesp 2011 foram submetidos a analise estatistica com o proposito de construir uma escala de proficiencia (media 0 e variância 1) e interpreta-la atraves do posicionamento dos itens da prova. Apos o ajuste do modelo de tres parâmetros da teoria da resposta ao item, os itens foram classificados em tres conjuntos: a) itens âncora: itens posicionados em pontos especificos da escala. Sao os principais itens para a interpretacao da escala. Para ser classificado como âncora um item deve atender aos seguintes criterios: probabilidade de acerto no chamado nivel âncora e superior a 65%; probabilidade de acerto no nivel abaixo do nivel âncora e inferior a 50%; a diferenca de probabilidade de acerto entre o nivel âncora e o anterior e superior a 25% (a literatura cita 30%); b) itens quase âncora: itens ainda com boa discriminacao, em alguns casos estao no limiar de dois pontos. Para a classificacao como quase âncora um item atende aos seguintes criterios: probabilidade de acerto no nivel posicionado e superior a 65% (ou muito proximo desse valor); probabilidade de acerto no nivel abaixo do nivel âncora e inferior a 50% (ou pouco acima desse valor); indice de discriminacao superior a 0,8 (escala da logistica, parâmetro a); c) itens nao ajustados: itens com baixa discriminacao que nao foram posicionados. Resultados: A partir da indicacao estatistica dos itens âncora e quase âncora, fez-se a interpretacao pedagogica desses itens de modo a obter uma descricao de habilidades e competencias que leve a organizacao de uma escala. Os dados obtidos permitiram descrever seis niveis de proficiencia, que situam os alunos selecionados pelo Vestibular Unesp 2011, segundo as capacidades que demonstraram de mobilizar conhecimentos para resolver questoes cujas habilidades foram propostas apos a sua concepcao, isto e, nao ha uma matriz que referencie a avaliacao. De fato, as questoes da prova foram elaboradas com base nos requisitos que a UNESP define para os alunos que deseja selecionar para seus cursos e sao estruturadas para articular-se aos objetivos e conteudos propostos no Curriculo do Estado de Sao Paulo. PROPOSTA DE ESCALA DE PROFICIENCIA: Nivel I-No nivel de proficiencia I, os alunos sao capazes de: - Localizar informacao apresentada em noticias e fragmentos de texto literario (nao ficcao). Nivel II-Nesse nivel, alem das habilidades demonstradas no nivel anterior, os alunos sao capazes de: Selecionar informacao explicita apresentada em fragmentos de texto literario (nao ficcao), linguagem grafica e documentos publicos; Interpretar informacao apresentada em textos de diferentes generos, ilustracoes, codigos ou mapas; Estabelecer relacoes entre imagens e um corpo do texto, escrito em portugues e/ou ingles, comparando informacoes pressupostas ou subentendidas. Nivel III-No nivel III, os alunos realizam tarefas associadas as habilidades anteriores e alem disso, desenvolveram habilidades para: Identificar o sentido de palavras e expressoes, apresentadas em textos literarios (nao ficcao); Estabelecer relacoes entre imagens e um corpo do texto cientifico para obter dados pressupostos ou subentendidos; Analisar informacoes explicitas apresentadas em textos e quadros cientificos de media complexidade ;  Analisar textos de generos distintos para inferir informacao. Nivel IV-Nesse nivel, alem das habilidades demonstradas nos niveis anteriores, os alunos sao capazes de: Selecionar informacao em textos literarios utilizando criterios pre-estabelecidos; Elaborar proposta com base em informacao explicita apresentada em textos, ilustracoes e diagramas; Identificar caracteristicas especificas associadas a contextos historicos, culturais e tecnologicos; Interpretar mapas, diagramas para resolver problemas envolvendo calculos simples; Relacionar informacoes para resolver problema utilizando calculos com operacoes, funcoes e relacoes trigonometricas. Nivel V-Nesse nivel, alem das habilidades demonstradas nos niveis anteriores, os alunos sao capazes de: Analisar textos de generos distintos, apresentados em Ingles, para inferir informacao; Comparar diferentes interpretacoes sobre situacoes associadas a contextos historicos, sociais avaliando a validade dos argumentos utilizados; Analisar texto tecnico e cientifico inferindo e organizando informacao subentendida ou pressuposta; Analisar informacoes apresentadas em textos tecnicos, diagramas e graficos relacionando-as a determinacao de suas caracteristicas especificas, apresentadas em textos e graficos; Resolver problemas envolvendo calculo de volume de figuras tridimensionais. Nivel VI-Nesse nivel, alem das habilidades demonstradas nos niveis anteriores, os alunos sao capazes de: Relacionar informacoes apresentadas em textos tecnicos complexos para identificar terminologia cientifica especifica. Consideracoes Finais A aplicacao da TRI permitiu a analise pedagogica de uma prova de Conhecimentos Gerais, composta por 90 itens, parte deles concebidos para atender ao principio da interdisciplinaridade, abordando conhecimentos de 12 diferentes disciplinas. As analises realizadas no presente estudo mostram que a prova destinada a selecao e classificacao de candidatos a matricula inicial nos Cursos de Graduacao da Unesp, em 2011, atendeu aos requisitos definidos pela Universidade. Palavras-Chave: Escala de desempenho. Avaliacao.