Avaliação do desempenho de um software de sumarização automática de textos

Desde 2014 desenvolvemos uma pesquisa com o intuito de produzir um software (prototipo) que seria capaz de elaborar resumos automaticos de textos baseado em tecnicas de Processamento de Linguagem Natural e estatisticas de frequencia de palavras. Os primeiros testes empiricos da ferramenta geraram resultados que indicaram uma significativa reducao da dimensionalidade dos textos, com consideravel preservacao do seu valor semântico. Neste artigo, apresentamos os resultados da continuidade do nosso trabalho investigative, a partir de uma avaliacao humana da qualidade desses resumos a partir da realizacao de testes cegos. Um grupo de tres bibliotecarias recebeu um bloco misto e nao identificado de resumos - produzidos por humanos e os resumos automaticos feitos pelo software - e procedeu a uma avaliacao, segundo os criterios de corretude gramatical, preservacao das ideias centrais, coerencia e legibilidade, extensao do resumo, se houve parafrase ou copia de fragmentos e, se houve introducao de ideias nao contidas no texto original. Os resultados mostraram que em quatro, dos cinco criterios de avaliacao adotados, houve equivalencia qualitativa entre os resumos produzidos por humanos e os produzidos pelo software, o que parece representar um relativo sucesso, uma vez que o prototipo poderia substituir uma pessoa na atividade de resumir textos sem deixar a desejar, a nao ser no quinto creiterio de avaliacao, referente a dimensao do resumo, em que o texto produzido pelo software foi apontado como extenso alem do necessario.