Avaliar as evidências

A avaliação das referências geralmente tem várias etapas. Por exemplo, a "primeira avaliação" é baseada em resumos: reduzir o "ruído" para o aprimoramento sobre a condição relevante (por exemplo, asma crônica; enxaqueca; etc.) e estudos de alta qualidade de metodologia correta (por exemplo, revisões sistemáticas; ECRCs; estudos diagnósticos, etc.)

Assim que uma busca sistemática tenha sido executada, os títulos/resumos dos artigos recuperados precisam ser avaliados pelo uso dos critérios declarados para aquela revisão/pergunta específica (com frequência, isso será feito pela pessoa que está realizando a busca). Se um resumo indicar que o estudo definitivamente não se encaixa nos critérios, ele é excluído. Se o primeiro avaliador não puder descartar em definitivo um estudo usando as informações do título/resumo, ele incluirá a referência no conjunto selecionado de referências que serão destinadas a uma análise mais aprofundada.

"Segunda avaliação" baseada nos artigos completos

As referências para uma análise mais aprofundada são passadas para uma avaliação adicional do texto completo, a fim de se decidir quais artigos serão usados e citados no conteúdo final (muitas vezes isso será feito pelo autor principal). Se estiverem realizando uma revisão/visão geral sistemática, também justificarão a exclusão de quaisquer referências que desejarem fazer. Eles mantêm esses formulários de inclusão/exclusão para uso em sua revisão, para que uma lista dos estudos excluídos possa ser gerada e suas decisões sobre as exclusões registradas.

"Terceira avaliação" (verificação de controle de qualidade) com base nos artigos completos

Os relatórios de pesquisas sistemáticas concluídos são geralmente submetidos a uma revisão adicional do material selecionado, validando a qualidade e a relevância dos estudos incluídos, conforme apropriada. Isso pode ser feito de forma independente por um coautor ou um editor/avaliador final antes que o relatório seja finalizado.

Avaliação paralela

Normalmente, os autores de revisões sistemáticas terão pelo menos dois indivíduos que avaliam de forma independente as referências tanto na etapas dos resumos quanto dos artigos completos, discutindo quaisquer diferenças de opinião e resolvendo-as (usando-se um avaliador adicional para atuar como árbitro final, se necessário), para chegar a um consenso sobre quais estudos devem ser incluídos e excluídos. Se deseja-se seguir uma abordagem de estilo baseada em evidências para a seleção de estudos, em geral, recomenda-se que envolva mais de uma pessoa na avaliação e na escolha das referências a serem incluídas.

Avaliando a qualidade dos métodos dos estudos

Deve-se notar que nenhum estudo é perfeito. Para fins práticos, pode ser útil considerar três cenários possíveis com relação aos métodos dos estudos:

Se os métodos forem sólidos – incluiremos
Se os métodos forem abaixo do ideal – nós incluiremos, mas citaremos reservas e advertências apropriadas em relação à interpretação do resultado
Se os métodos forem inseguros, isto é, houver uma falha fatal ou uma possibilidade razoável de resultados enviesados – descartaremos.

Os estudos são avaliados quanto a se têm critérios mínimos de qualidade (ou seja, em termos de tamanho mínimo aceitável, acompanhamento, nível de caráter cego [se o mascaramento for possível], tempo de acompanhamento, etc.). No entanto, critérios mínimos de qualidade são apenas isso, critérios mínimos. Por exemplo, pode ser que um ensaio se descreva como aleatorizado, mas na leitura mais aprofundada, torna-se evidente que os tratamentos foram atribuídos no dia da admissão ou por atribuição alternativa. Nós descreveríamos este ensaio como quase randomizado e poderíamos descartá-lo com base nisso.

Da mesma forma, no que diz respeito às revisões sistemáticas, a qualidade pode variar amplamente entre as revisões em relação aos métodos empregados e até que ponto os dados são relatados. De fato, na ocasião, pode ser difícil decidir se uma revisão é sistemática ou não, se os métodos de busca utilizados forem mal relatados. É impossível ser abrangente no que diz respeito a todas as possíveis questões metodológicas que possam surgir ou com relação a qual pode ser sua importância relativa. Por exemplo, um elemento que é acentuadamente fraco pode lançar dúvidas sobre todas as conclusões do estudo (uma "falha fatal").

As questões de qualidade que se pode considerar ao se avaliar uma revisão sistemática podem incluir:

As perguntas e os métodos da revisão estão claramente definidos?
Os métodos de pesquisa estão descritos, e são abrangentes e reproduzíveis?
Foram usados métodos explícitos para se determinar quais estudos serão incluídos na revisão?
A qualidade metodológica dos estudos primários foi avaliada?
A seleção e a avaliação dos estudos primários foram adequadas, reproduzíveis e livres de possíveis vieses?
As diferenças entre os resultados dos estudos individuais estão adequadamente explicadas?
Os resultados dos estudos primários foram combinados da maneira apropriada?
As conclusões dos revisores são apoiadas pelos dados citados?

Os problemas de qualidade que você pode considerar ao avaliar um ECRC podem incluir:

O cenário e a população do estudo foram claramente descritos?
A alocação foi genuinamente aleatória e a semelhança entre os grupos foi documentada?
A alocação aos grupos de estudo esteve adequadamente oculta dos participantes e pesquisadores?
Qual foi o nível do mascaramento?
Todos os desfechos clinicamente relevantes foram relatados?
Mais de 80% das pessoas que entraram no estudo foram contabilizadas para sua conclusão?
O ECRCs realizou a análise sobre os grupos para os quais as pessoas foram randomizadas (análise por intenção de tratamento)?
A significância estatística e a importância clínica do resultado estatístico foram consideradas?

Considerando evidências sobre danos

De todos os tipos de estudo, os ECRCs ou revisões sistemáticas de ECRCs bem conduzidos fornecem a melhor evidência de causalidade, ou seja, de que um tratamento causa um efeito em comparação com outro tratamento. Geralmente, também se relatariam quaisquer dados sobre os efeitos adversos reportados pelos ECRCs ou revisões sistemáticas incluídos. No entanto, os ECRCs são frequentemente insuficientes para detectar efeitos adversos, alguns dos quais podem ser graves, mas raros. Por isso, pode-se precisar também incluir, ocasionalmente, dados que não são de ECRCs que forneçam informações sobre efeitos adversos para melhorar a relevância prática e clínica dos achados.

Deve ser observado que os dados observacionais podem estar mais sujeitos a confusão ou vieses. Há maior probabilidade de viés devido à não comparabilidade dos grupos nos estudos de coorte, e ainda maior probabilidade nos estudos de caso-controle. As séries ou relatos de casos são as formas mais fracas de evidência, embora associações com danos em relatos de casos tenham sido posteriormente confirmadas, e algumas vezes tenham fornecido a primeira indicação de que um dado tratamento está associado a um efeito adverso em particular.