Avaliação

Depois de submetido, o trabalho vai para o menu de avaliação e fica lá até que as avaliações sejam finalizadas.

A Even3 oferece dois tipos de avaliação: avaliação padrão da plataforma e avaliação por critério.

Avaliadores

Os avaliadores são adicionados diretamente na plataforma. Depois de registrados, eles recebem um e-mail de convite que dá a opção dele aceitar o convite ou recusar. Se ele aceitar, a área do avaliador será liberada no perfil do convidado.

Distribuição

A plataforma permite dois tipos de submissão:

  • Automática: o sistema distribui todos os trabalhos para os avaliadores de modo que não aconteça conflito de interesses.
  • Manual: o organizador distribui manualmente cada trabalho para os avaliadores.

Parecer

O parecer é o resultado da avaliação dos trabalhos, podendo ser:

  • Aprovado
  • Reprovado
  • Aprovado com ressalvas

Nesse último caso, o autor receberá por e-mail notificando que há alterações para serem feitas no seu trabalho. Após o autor revisar seu trabalho, ele submete novamente através do sistema a versão corrigida, que será avaliada novamente pelo avaliador que emitiu o parecer de aprovado com ressalvas. Por último, ele emite um novo parecer aprovando ou rejeitando o trabalho.

Nas configurações de avaliação, o organizador pode configurar a quantidade mínima de pareceres que um trabalho precisa ter. Quando esse número é par e venha a ocorrer um "empate" na avaliação, o sistema redireciona o trabalho para um outro parecerista para que ocorra o desempate.

Exemplo:

No mínimo 2 pareceres

  • Se o trabalho é aprovado pelos dois avaliadores, é considerado APROVADO.
  • Se um trabalho é recusado pelos dois avaliadores, é considerado REPROVADO.
  • Nos casos em que um mesmo trabalho é considerado aprovado por um avaliador e recusado por outro, a Even3 automaticamente envia o referido trabalho para um terceiro avaliador, para uma terceira opinião (para desempate técnico). A posição do terceiro avaliador indica se o trabalho está aprovado ou recusado.

Avaliação Padrão vs. Avaliação por critérios

A maior diferença entre os dois tipos é o fluxo da avaliação. Enquanto a avaliação padrão é mais automática, a avaliação por critérios depende do organizador para acontecer de forma eficiente.

Entenda a diferença:

Avaliação Padrão

Na avaliação padrão, o caminho que o trabalho faz é o seguinte:

O trabalho ao ser submetido pelo autor

Primeira Etapa: Tela de distribuição

Aqui, o trabalho aguarda as avaliações começarem para ser direcionado para um avaliador

Segunda Etapa: Área do avaliador

Depois que as avaliações se iniciam, ele aparece na área do avaliador na conta do avaliador, que emitirá um parecer (aprovado, reprovado ou aprovado com ressalvas). Depois que os pareceres são dados, ele segue para o menu de resultados.

Terceira Etapa: O menu resultados

Com as avaliações já encerradas, o trabalho aparece no menu de resultados e o organizador precisa apenas divulgar o resultado para os autores.

Avaliação por Critério

A avaliação por critério acontece por meio de notas. O organizador cria critérios nos quais os trabalhos devem ser avaliados de acordo, como por exemplo: “Fidelidade do título com o texto”, “Gramática”, “Relevância do assunto”, entre outros critérios que o organizador julgar relevante.

Pesos serão atribuídos para cada um dos critérios de acordo com a relevância deles. Os avaliadores, por sua vez, vão dar notas para cada critério de cada trabalho e o sistema automaticamente gera uma média para o trabalho.

Na avaliação padrão, o caminho que o trabalho faz é o seguinte:

Depois de submetido pelo autor

Primeira Etapa: Tela de distribuição

Aqui, o trabalho aguarda as avaliações começarem para ser direcionado para um avaliador

Segunda Etapa: Área do avaliador

Quando as avaliações se iniciam, ele aparece na área do avaliador no perfil dele. Nesse caso, ao invés do avaliador emitir um parecer, ele vai atribuir notas aos critérios. Depois que as notas são dadas, ele segue para o menu de resultados.

Terceira Etapa: O menu resultados

Com as avaliações já encerradas, o trabalho aparece no menu de resultados e, nesse caso, o organizador precisa emitir o parecer final do trabalho que será “aprovado” ou “reprovado”. Depois disso, o organizador divulga os resultados para os autores.

Situação

Existem três tipos de situação dos trabalhos:

  1. Avaliação em andamento: Quando o trabalho já está sendo avaliado e já foi atribuído para um avaliador.
  2. Disponível para avaliação: O trabalho está aguardando algum avaliador começar a avaliação.
  3. Avaliação Finalizada: Quando as avaliações foram finalizadas.