Free On-line Access

SPCI - Sociedade Portuguesa de Cuidados Intensivos

Revista Brasileira de Terapia Intensiva

AMIB - Associação de Medicina Intensiva Brasileira

OFFICIAL JOURNAL OF THE ASSOCIAÇÃO BRASILEIRA DE MEDICINA INTENSIVA AND THE SOCIEDADE PORTUGUESA DE CUIDADOS INTENSIVOS

ISSN: 0103-507X
Online ISSN: 1982-4335

Ícone Fechar

How to Cite


 

Berwanger O, Suzumura EA, Buehler AM, Oliveira JB. Como avaliar criticamente revisões sistemáticas e metanálises?. Rev Bras Ter Intensiva. 2007;19(4):475-480

 

 

2007;19(4):475-480
Série:Medicina baseada em Evidênciase Terapia Intensiva

http://dx.doi.org/10.1590/S0103-507X2007000400012

How to critically assess systematic reviews and meta-analyses?

Como avaliar criticamente revisões sistemáticas e metanálises?

Otávio BerwangerI, Erica Aranha SuzumuraII, Anna Maria BuehlerII, João Bosco OliveiraIII

IDiretor do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor) - São Paulo, SP
IICoordenadora de Pesquisa Clínica do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor) - São Paulo, SP
IIIMédico Pesquisador do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor) - São Paulo, SP

Corresponding author:

Dr. Otavio Berwanger
Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor)
Rua Abílio Soares, 250 - 12º andar
04005-000 - São Paulo, SP
Fone: (11) 3886-4693 - Fax (11) 3886-4695
E-mail: [email protected]

 

Abstract

BACKGROUND AND OBJECTIVES: Systematic reviews are important knowledge generating tools to help the decision making process in the Critical Care Unit. This narrative aims to describe the important elements used to critically appraise intensive care-related systematic reviews.
CONTENTS: When critically assessing systematic reviews, one should pay particular attention to the importance and appropriateness of the research question, the search strategy, the inclusion criteria and methodological quality of the studies included, and the methods of data extraction. In addition, a relevant systematic review must have consistent data (in case of a meta-analysis) or the cause of the heterogeneity must have been adequately explored, and results must be applicable in critical patients.
CONCLUSIONS: To apply correctly the available scientific evidence, one should critically assess data quality of systematic reviews, selecting the relevant information to manage the critically ill patient.

Keywords: critical appraisal, meta-analysis, systematic review

 

 

INTRODUÇÃO

A revisão sistemática é um dentre os diversos tipos de delineamento de pesquisa, sendo importante fonte de evidências para tomada de decisão na prática da Terapia Intensiva. Entretanto, nem toda revisão sistemática fornece dados robustos e confiáveis. Para o correto emprego da evidência científica disponível, é necessário que o intensivista avalie criticamente a qualidade dos dados apresentados pelos autores das revisões sistemáticas, selecionando, dessa maneira, as informações relevantes para o manuseio do paciente crítico. Com o intuito de fornecer subsídios para avaliação crítica de revisões sistemáticas e metanálises existentes em Terapia Intensiva.

O objetivo deste estudo foi descrever os elementos importantes na avaliação crítica das revisões sistemáticas existentes em Terapia Intensiva.

 

POR QUE AS REVISÕES SISTEMÁTICAS SÃO NECESSÁRIAS?

As revisões sistemáticas identificam, dentre os inúmeros estudos publicados sobre determinado tema, aqueles com superior qualidade metodológica, cujos resultados podem ser utilizados na prática médica. Além disso, como resultados conflitantes freqüentemente emergem de estudos diferentes abordando a mesma questão e estudos individuais raramente possuem poder estatístico suficiente para fornecer respostas definitivas, as revisões sistemáticas têm grande importância como ferramenta de investigação científica para a tomada de decisão, com custos bem menores do que os exigidos para a realização de estudos de larga escala1-3.

O que são Revisões sistemáticas?

Revisões sistemáticas são investigações científicas, com metodologia definida "a priori" por um protocolo, empregando estudos originais como sua "população"4,5. Seu objetivo é sintetizar os resultados de estudos primários utilizando estratégias que diminuam a ocorrência de erros aleatórios e sistemáticos. Por exemplo, pode-se ter uma revisão sistemática de estudos aleatorizados que compararam o efeito de colóides e cristalóides em pacientes internados em Centros de Terapia Intensiva (CTI). Entretanto, as revisões sistemáticas não se restringem a estudos de tratamento, podendo abranger estudos observacionais, prognósticos e diagnósticos, entre outros1.

Qual a Diferença entre Revisão Sistemática Quantitativa e Qualitativa?

Revisões sistemáticas podem ser classificadas em quantitativas ou qualitativas. As revisões sistemáticas quantitativas lançam mão de métodos estatísticos para sumarizar os resultados dos estudos primários sob um único parâmetro clínico-epidemiológico [como odds ratio (OR), risco relativo (RR), número necessário para tratar (NNT), sensibilidade, likelihood ratios, entre outros]. A combinação estatística dos resultados de diversos estudos é denominada metanálise. As revisões qualitativas, por sua vez, apresentam os resultados dos estudos de forma conjunta, mas sem sumarizá-los1. As revisões sistemáticas com metanálises, de um modo geral, possuem maior relevância clínico-epidemiológica que as revisões qualitativas, contudo, fatores como heterogeneidade e inconsistência nos resultados podem impedir a união dos diferentes estudos sob uma única medida, inviabilizando a realização de uma metanálise1.

Quais as Diferenças entre Revisão Sistemática e Revisão Tradicional?

Diferentemente das revisões sistemáticas, os artigos tradicionais de revisão, atualmente denominados revisões narrativas, são simples revisões da literatura, formatadas semelhantemente a capítulos de livro e que geralmente abordam temas de forma ampla e sem metodologia de seleção pré-estabelecida, não sendo considerados estudos originais1,6-9.

 

COMO AVALIAR CRITICAMENTE UMA REVISÃO SISTEMÁTICA?

Para decidir se o resultado de uma revisão sistemática possui validade e aplicabilidade, o intensivista deve estar preparado para avaliá-la quanto à qualidade metodológica, a importância dos resultados e aplicabilidade1,2. Os princípios para avaliação crítica de uma revisão sistemática estão descritos no quadro 1.

 

O ESTUDO POSSUI VALIDADE INTERNA?

A Revisão Sistemática Delimita uma Questão Clínica Estruturada e Focada?

Para a realização de uma revisão sistemática de qualidade, é necessária a formulação de uma questão científica estruturada. Os autores devem definir o tipo de paciente, intervenção, comparação e objetivo. Esse formato de questão, também utilizado na Medicina Baseada em Evidências, tem o acrônimo PICO (Paciente, Intervenção, Comparação, Objetivos)10-12. Por exemplo: "Em pacientes criticamente enfermos (P), os colóides (I) são superiores aos cristalóides (C) em reduzir a mortalidade (O)?".

Foi Realizada uma Estratégia de Busca Abrangente?

Idealmente, uma revisão sistemática deve reunir toda a evidência existente referente a um assunto1. A estratégia de busca e seleção deve ser definida antes da consulta aos diferentes bancos de dados. Uma revisão sistemática adequadamente delineada deve evitar o uso de apenas um banco de dados (p. ex.: MedLine), que pode não conter todos os artigos publicados sobre o tema. É fundamental a consulta a outras bases como CENTRAL (Registro de ensaios clínicos aleatórios da Cochrane Collaboration), EMBASE (Excerpta Medica Database), LILACS (Literatura Latino-Americana e do Caribe em Ciências da Saúde), e a verificação das referências citadas em artigos originais e de revisão sobre o tema2. Além disso, deve-se minimizar o viés de publicação - que ocorre quando o número de estudos publicados não é representativo do total de estudos sobre o tema - tentando-se identificar estudos não-publicados nas bases de dados de teses de Mestrado e Doutorado das principais universidades ou em bases digitais, nos resumos apresentados em congressos, e em consultas à especialistas2. Acredita-se que apenas 1/3 das metanálises incluíram estudos com resultados negativos publicados em jornais de menor circulação ou não publicados (chamados "grey literature")13-15. A exclusão destes estudos nas metanálises pode levar a estimativas exageradas da efetividade de uma intervenção15.

Os Critérios de Inclusão e Exclusão dos Estudos foram Definidos a Priori?

Os critérios de inclusão e exclusão devem ser descritos e rigorosamente seguidos. Dessa forma, o intensivista pode decidir se os resultados possuem relevância e aplicabilidade na sua prática diária16,17. De modo geral, estabelece-se a priori o tipo de paciente/condição clínica a ser estudado, o tipo de estudo a ser incluído, o tipo de intervenção, o tipo de controle, o tipo de desfecho e o período de publicação2. Não é aconselhável que a revisão sistemática abranja, dentre os critérios de inclusão, aspectos de qualidade metodológica dos estudos, visto que os mesmos serão explorados posteriormente na análise16.

Os Autores Avaliaram a Qualidade Metodológica dos Estudos Incluídos na Revisão Sistemática?

Além da busca incompleta de estudos, outro problema comum nas revisões sistemáticas é a inclusão de estudos de baixa qualidade, que pode comprometer a confiabilidade nos resultados da revisão16,18,19. Quando resultados de estudos primários de baixa qualidade metodológica são utilizados, a eficácia clínica e estatística de determinadas intervenções pode ser falsamente exagerada20,21. Dessa forma, após inclusão, durante a fase de análise dos resultados, todo estudo terá sua qualidade metodológica avaliada conforme descrito adiante2,21-23.

Os Autores Realizaram um Processo de Extração de Dados Padronizado e sem Vieses?

Outro aspecto importante a ser observado é se durante a extração dos dados os revisores estavam cegos quanto aos periódicos onde os estudos foram publicados, os autores e os resultados24-26. Ainda, os formulários de coleta de dados devem ser padronizados e elaborados previamente ao levantamento dos estudos, a fim de garantir que os dados não foram definidos de forma post hoc, pois a exploração das informações em um busca de resultado favorável à hipótese dos autores pode gerar falso-positivos2.

 

OS RESULTADOS GERADOS PELA REVISÃO SISTEMÁTICA SÃO IMPORTANTES?

Os Autores Realizaram Metanálise? Se SIM, qual foi a Estimava de Efeito Conjunto? Os Achados foram Precisos?

A metanálise é uma abordagem estatística que combina resultados de estudos relevantes para responder uma questão27. A importância da metanálise consiste primariamente em sintetizar as evidências disponíveis, e apontar áreas onde há necessidade de mais pesquisas3,28. Em uma metanálise, métodos estatísticos são utilizados para sumarizar os resultados de diversos estudos em uma única medida denominada, genericamente, estimativa de efeito conjunto29.

Não é necessário conhecer detalhadamente os métodos estatísticos, porém, familiarizar-se com alguns conceitos pode facilitar a interpretação dos dados. Simplificadamente, os métodos utilizados são:

• Parâmetro clínico-epidemiológico de sumarização dos resultados;

• Método de quantificação da contribuição dos estudos para análise.

Na utilização do parâmetro clínico-epidemiológico, deve-se primeiramente determinar se os dados são binários (sim/não, presente/ausente, etc.) ou contínuos (pressão arterial, peso, etc.). Variáveis binárias podem ser combinadas em medidas como OR, RR, e NNT. Tanto o OR como o RR são medidas de eficácia da intervenção, já o NNT informa o impacto clínico. Dados contínuos podem ser sumarizados em médias entre os grupos.

Em metanálise de estudos diagnósticos, os resultados podem ser sumarizados como sensibilidade, especificidade e likelihood ratios. Em metanálise de estudos observacionais, os resultados são sumarizados como RR e OR. Já as de estudos prognósticos utilizam hazard ratio e medidas de tempo para um evento30.

Quando não há diversidade e nem heterogeneidade importantes, aqueles estudos com maior poder estatístico (leia-se, estudos com maior população e maior efeito da intervenção) possuirão mais "peso". Nesse caso, utiliza-se o método de efeitos fixos, que pressupõe que todos os estudos apontaram um mesmo efeito. Quando há diversidade e heterogeneidade, é utilizado o modelo de efeitos-aleatórios, que distribui o peso de maneira mais uniforme, valorizando a contribuição dos estudos pequenos e, conseqüentemente, fornece um intervalo de confiança (IC) mais amplo31.

Os resultados de uma metanálise podem ser representados por um gráfico do tipo forest plot, como mostrado na figura 1.

Nesse tipo de figura, cada linha representa um estudo, sendo que a última representa a combinação dos resultados (metanálise) que é simbolizada por um "diamante". O resultado de cada estudo é descrito tanto de forma gráfica (os "quadrados" representam RR ou razão de riscos e os "traços", os IC) quanto de forma numérica. Quando o IC não ultrapassa a linha de nulidade, pode-se afirmar que o resultado é estatisticamente significativo. Estudos maiores possuem IC mais estreitos, ou seja, resultados mais precisos e maior contribuição para a metanálise que também é representada graficamente (quanto maior a área do quadrado, maior o peso) e valor percentual. A vantagem dos forest plots é sumarizar, em uma única figura, todas as informações sobre o efeito/precisão do tratamento e a contribuição de cada estudo para a análise.

Os Resultados Foram Consistentes Entre os Diferentes Estudos? Se NÃO, os Autores Exploraram Potenciais Causas de Heterogeneidade?

Os estudos primários tendem a ser diferente em relação ao perfil do paciente incluído, tipo de intervenção utilizada e definição do desfecho. Tal diferença é denominada heterogeneidade clínica. Adicionalmente, os estudos podem diferir em aspectos metodológicos, o que é denominado heterogeneidade metodológica. Atualmente as heterogeneidades clínica e metodológica são englobadas sob o termo diversidade que, na maioria das vezes, possui impacto no resultado32.

O método mais utilizado para avaliação da diversidade é o teste de heterogeneidade (semelhante ao teste Qui-quadrado), que parte do pressuposto que os achados dos estudos primários são iguais (hipótese nula) e verifica se os dados encontrados refutam esta hipótese33. Se a hipótese nula for confirmada, os estudos são considerados homogêneos (p > 0,05)20. Esse teste apresenta baixo poder discriminatório quando o número de estudos incluídos é pequeno, portanto, um teste não significativo não exclui necessariamente a heterogeneidade. Alguns autores argumentam que um pouco de heterogeneidade sempre está presente, logo, não faria sentido testar sua presença, mas quantificá-la. Dessa forma, recentemente, foi proposta a medida denominada inconsistência (I2), que mede quanto da diferença, entre os estudos, é devida à heterogeneidade. Geralmente o resultado é expresso em porcentagem, sendo que inconsistências de até 25% são consideradas baixas, 50% intermediárias e maiores que 75% altas (quando a realização da metanálise é questionável)30.

 

OS RESULTADOS SÃO APLICÁVEIS NA PRÁTICA?

Os Estudos da Revisão Incluem Pacientes Semelhantes ao Meu?

Se os seus pacientes preencherem os critérios de inclusão e exclusão estabelecidos pelos estudos incluídos na revisão, não há muita discussão quanto à aplicabilidade dos resultados. Se não for o caso, deve-se questionar se existe alguma razão que torna os resultados não aplicáveis. Geralmente não é encontrada razão significativa, possibilitando a generalização dos resultados.

A Intervenção em Estudo está Disponível no meu Meio de Trabalho? É de Baixo Risco de Complicações e Custo?

Antes de empregar uma intervenção, deve-se considerar se há disponibilidade em nosso meio e o risco de evento adverso caso o paciente permaneça sem receber a intervenção. Quanto maior a possibilidade de o paciente apresentar um evento caso não seja tratado, mais provável torna-se o benefício. Na avaliação do impacto econômico da intervenção, é interessante considerar análises de custo-efetividade, sobre eficácia do tratamento e custos envolvidos. Economistas sugerem que "custo-efetividade" e não "efetividade clínica" é o critério mais adequado na escolha de uma intervenção34. O princípio "os recursos serão sempre escassos", utilizado inclusive em países desenvolvidos, deve ser considerado devido às limitações do nosso sistema de saúde.

O Paciente (ou substituto legal) Aceita Receber o Tratamento Proposto?

Os pilares para a aplicação da Medicina Baseada em Evidências incluem: a existência de estudos com resultados relevantes, a experiência clínica individual e a preferência dos pacientes1,35. A decisão do paciente deve ser respeitada e a equipe do CTI deve estar à disposição para esclarecer dúvidas e apresentar opções embasadas cientificamente36.

 

REVISÕES SISTEMÁTICAS VERSUS ENSAIOS CLÍNICOS ALEATORIZADOS INDIVIDUAIS

Apesar de muitos investigadores considerarem que uma revisão sistemática não tem o mesmo valor científico de um estudo individual de larga escala, é incomum que este último forneça respostas definitivas às questões clínicas37. Portanto, revisões sistemáticas e ensaios clínicos aleatorizados são métodos complementares, com o objetivo comum de buscar evidências científicas sólidas a serem utilizadas na prática médica (Figura 2).

 

CONCLUSÃO

Revisões sistemáticas em terapia intensiva são necessárias para sumarizar os dados existentes na área, refinar hipóteses e definir racionalmente áreas de pesquisas futuras. Com essa ferramenta, o intensivista que busca embasamento científico para tomada de decisão pode agregar dados cientificamente robustos à sua experiência prática e à opinião de seu paciente. Entretanto, para o correto emprego da evidência científica disponível, é necessário que o intensivista avalie criticamente a qualidade dos dados apresentados pelos autores das revisões sistemáticas, selecionando, dessa maneira, as informações relevantes para o manejo do paciente crítico.

 

REFERÊNCIAS

01. Cook DJ, Mulrow CD, Haynes RB - Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med, 1997;126:376-380.

02. Moher D, Cook DJ, Jadad AR et al - Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Assess, 1999;3::i-iv,1-98.

03. Dixon E, Hameed M, Sutherland F et al - Evaluating meta-analyses in the general surgical literature: a critical appraisal. Ann Surg, 2005;241:450-459.

04. Mulrow CD - The medical review article: state of the science. Ann Intern Med, 1987;106:485-488.

05. Cook DJ, Sackett DL, Spitzer WO - Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam Consultation on Meta-Analysis. J Clin Epidemiol, 1995;48:167-171.

06. Neihouse PF, Priske SC - Quotation accuracy in review articles. DICP, 1989;23:594-596.

07. Mulrow C, Langhorne P, Grimshaw J - Integrating heterogeneous pieces of evidence in systematic reviews. Ann Intern Med, 1997;127:989-995.

08. Liberati A - Meta-analysis: statistical alchemy for the 21st century": discussion. A plea for a more balanced view of meta-analysis and systematic overviews of the effect of health care interventions. J Clin Epidemiol, 1995;48:81-86.

09. Bangert-Drowns RL - Misunderstanding meta-analysis. Eval Health Prof, 1995;18:304-314.

10. Cummings SR, Browner WS, Hulley SB - Elaborando a Questão de Pesquisa, em: Hulley SB, Cummings SR, Browner WS et al - Delineando a Pesquisa Clínica: Uma Abordagem Epidemiológica, 2ª Ed, Porto Alegre: Artmed, 2003.

11. Nobre MR, Bernardo WM, Jatene FB - Evidence based clinical practice. Part 1-well structured clinical questions. Rev Assoc Med Bras, 2003;49:445-449.

12. da Costa Santos CM, de Mattos Pimenta C, Nobre MR - The PICO strategy for the research question construction and evidence search. Rev Lat Am Enfermagem, 2007;15:508-511.

13. Alderson P, Roberts I - Should journals publish systematic reviews that find no evidence to guide practice? Examples from injury research. BMJ, 2000;320:376-376.

14. Cook DJ, Guyatt GH, Ryan G et al - Should unpublished data be included in meta-analyses? Current convictions and controversies. JAMA, 1993;269:2749-2753.

15. McAuley L, Pham B, Tugwell P et al - Does the inclusion of grey literature influence estimates of intervention effectiveness reported in meta-analyses? Lancet, 2000;356:1228-1231.

16. Moja LP, Telaro E, D'Amico R et al - Assessment of methodological quality of primary studies by systematic reviews: results of the metaquality cross sectional study. BMJ, 2005;330(7499):1053.

17. Egger M, Juni P, Bartlett C et al - How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study. Health Technol Assess, 2003;7:1-76.

18. Chalmers TC, Lau J - Meta-analytic stimulus for changes in clinical trials. Stat Methods Med Res, 1993;2:161-172.

19. Verhagen AP, de Vet HC, de Bie RA et al - The art of quality assessment of RCTs included in systematic reviews. J Clin Epidemiol, 2001;54:651-654.

20. Hearst N, Grady D, Barron HV et al - Pesquisa com Dados Existentes: Análise de Dados Secundários, Estudos Suplementares e Revisões Sistemáticas, em: Hulley SB, Cummings SR, Browner WS ET al - Delineando a Pesquisa Clínica: Uma Abordagem epidemiológica, 2ª Ed, Porto Alegre: Artmed, 2003.

21. Schulz KF, Chalmers I, Hayes RJ et al - Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA, 1995;273:408-412.

22. Schulz KF, Grimes DA - Blinding in randomised trials: hiding who got what. Lancet, 2002;359:696-700.

23. Altman DG, Dore CJ - Randomisation and baseline comparisons in clinical trials. Lancet, 1990;335(8682):149-153.

24. Jadad AR, Moore RA, Carroll D et al - Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials, 1996;17:1-12.

25. Moher D, Pham B, Jones A et al - Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analysis? Lancet, 1998;352:609-613.

26. Berlin JA - Does blinding of readers affect the results of meta-analyses? University of Pennsylvania Meta-analysis Blinding Study Group. Lancet, 1997;350:185-186.

27. Stroup DF, Berlin JA, Morton SC et al - Meta-analysis of observational studies in epidemiology: a proposal for reporting. JAMA, 2000;283:2008-2012.

28. Sutton AJ, Abrams KR, Jones DR - An illustrated guide to the methods of meta-analysis. J Eval Clin Pract, 2001;7:135-148.

29. Coutinho ESF - Meta-análise, em: Medronho RA, Carvalho DM, Bloch KV et al - Epidemiologia. São Paulo: Atheneu, 2003;447-455.

30. Higgins JP, Thompson SG, Deeks JJ et al - Measuring inconsistency in meta-analyses. BMJ, 2003;327(7414):557-560.

31. Lau J, Ioannidis JP, Schmid CH - Quantitative synthesis in systematic reviews. Ann Intern Med, 1997;127:820-826.

32. Mulrow C, Langhorne P, Grimshaw J - Integrating heterogeneous pieces of evidence in systematic reviews. Ann Intern Med, 1997;127:989-995.

33. Lau J, Ioannidis JP, Schmid CH - Summing up evidence: one answer is not always enough. Lancet, 1998;351:123-127.

34. Dowie J - 'Evidence-based', 'cost-effective' and 'preference-driven' medicine: decision analysis based medical decision making is the pre-requisite. J Health Serv Res Policy, 1996;1:104-113.

35. McDonald CJ - Medical heuristics: the silent adjudicators of clinical practice. Ann Intern Med, 1996;124:56-62.

36. Hux JE, Naylor CD - Communicating the benefits of chronic preventive therapy: does the format of efficacy data determine patients' acceptance of treatment? Med Decis Making, 1995;15:152-157.

37. Davidoff F, Case K, Fried PW - Evidence-based medicine: why all the fuss? Ann Intern Med, 1995;122:727

 

 

Recebido do Instituto de Ensino e Pesquisa do Hospital do Coração (IEP-HCor), São Paulo, SP

 

 

Submission On-line

Indexed in

Scopus

SciELO

LILACS

Associação de Medicina Intensiva Brasileira - AMIB

Rua Arminda nº 93 - 7º andar - Vila Olímpia - São Paulo, SP, Brasil - Tel./Fax: (55 11) 5089-2642 | e-mail: [email protected]

GN1 - Systems and Publications