Revisão por pares: um processo falho no coração da ciência e dos periódicos

A revisão por pares está no centro dos processos não apenas das revistas médicas, mas de toda a ciência. É o método pelo qual as bolsas são alocadas, os artigos são publicados, os acadêmicos são promovidos e os prêmios Nobel são ganhos. No entanto, é difícil definir. Até recentemente não foi estudado. E os seus defeitos são mais fáceis de identificar do que os seus atributos. No entanto, não mostra sinais de ir embora. Notoriamente, é comparado com a democracia: um sistema cheio de problemas, mas o menos pior que temos.

Quando algo é revisado por pares, é, de certa forma, abençoado. Até os jornalistas reconhecem isso. Quando o BMJ publicou um artigo altamente controverso que argumentava que uma nova “doença”, a disfunção sexual feminina, estava de certa forma a ser criada pelas empresas farmacêuticas, um amigo que é jornalista ficou muito entusiasmado – até porque reportá-la deu-lhe uma oportunidade colocar o sexo na primeira página de um jornal altamente respeitável, mas um tanto pedante (o Financial Times). “Mas”, quis saber o editor de notícias, “este artigo foi revisado por pares?”. A implicação era que, se tivesse sido, seria bom o suficiente para a primeira página e, se não fosse, não era. Bem, será que foi? Eu o li com muito mais atenção do que li muitos artigos e pedi ao autor, que por acaso era jornalista, que revisasse o artigo e produzisse mais evidências. Mas esta não foi uma revisão por pares, embora eu fosse colega do autor e tivesse revisado o artigo. Ou foi? (Eu disse ao meu amigo que não havia sido revisado por pares, mas era tarde demais para retirar a história da primeira página.)



O QUE É REVISÃO POR PARES?

O que quero dizer é que a revisão por pares é impossível de definir em termos operacionais (uma definição operacional é aquela em que se 50 de nós olhássemos para o mesmo processo, poderíamos todos concordar na maior parte do tempo se se tratava ou não de revisão por pares). A revisão por pares é, portanto, como poesia, amor ou justiça. Mas tem algo a ver com um pedido de subvenção ou um artigo que está a ser examinado por um terceiro – que não é nem o autor nem a pessoa que decide se uma subvenção deve ser concedida ou se um artigo deve ser publicado. Mas quem é um par? Alguém fazendo exatamente o mesmo tipo de pesquisa (nesse caso, provavelmente é um concorrente direto)? Alguém na mesma disciplina? Alguém que é especialista em metodologia? E o que é revisão? Alguém dizendo “O artigo me parece bom”, o que, infelizmente, é o que a revisão por pares às vezes parece ser. Ou alguém revirando o papel, pedindo dados brutos, repetindo análises, verificando todas as referências e fazendo sugestões detalhadas de melhorias? Tal revisão é extremamente rara.

O que está claro é que as formas de revisão por pares são multiformes. Provavelmente os sistemas de cada revista e de cada órgão que concede bolsas são diferentes pelo menos em alguns detalhes; e alguns sistemas são muito diferentes. Pode até haver alguns periódicos usando o seguinte sistema clássico. O editor olha o título do artigo e o envia para dois amigos que o editor acha que sabem alguma coisa sobre o assunto. Se ambos aconselharem publicação o editor envia para as gráficas. Se ambos desaconselharem a publicação, o editor rejeita o artigo. Se os revisores discordarem, o editor envia o artigo para um terceiro revisor e faz o que ele ou ela aconselhar. Este pastiche – que não está longe dos sistemas que vi sendo usados ​​– é pouco melhor do que jogar uma moeda,

É por isso que Robbie Fox, o grande editor da Lancet do século XX, que não era nenhum admirador da revisão por pares, questionou se alguém notaria se ele trocasse as pilhas marcadas como “publicar” e “rejeitar”. Ele também brincou que o Lancet tinha um sistema de jogar uma pilha de papéis escada abaixo e publicar aqueles que chegavam ao fundo. Quando eu era editor do BMJ, fui desafiado por dois dos pesquisadores mais inteligentes da Grã-Bretanha a publicar uma edição da revista composta apenas por artigos que haviam sido reprovados na revisão por pares e ver se alguém notava. Respondi: 'Como você sabe que ainda não fiz isso?'
Seção AnteriorPróxima Seção


A REVISÃO POR PARES “TRABALHA” E PARA QUE SERVE?

Mas será que a revisão por pares “funciona”? Uma revisão sistemática de todas as evidências disponíveis sobre a revisão por pares concluiu que

Jefferson T, Alderson P, Wager E, Davidoff F. Efeitos da revisão editorial por pares: uma revisão sistemática. JAMA2002;287:2784 -6

“a prática da revisão por pares baseia-se na fé nos seus efeitos, e não em factos”.


Mas a resposta à questão sobre se a revisão por pares funciona depende da pergunta

“Para que serve a revisão por pares?”

Uma resposta é que é um método para selecionar os melhores pedidos de financiamento e os melhores artigos para publicar em um periódico. É difícil testar este objectivo porque não existe uma definição consensual do que constitui um bom artigo ou uma boa proposta de investigação.


Além disso, contra o que a revisão por pares deve ser testada? Chance? Ou um processo muito mais simples? Stephen Lock, quando editor do BMJ, conduziu um estudo no qual ele decidia sozinho qual de uma série consecutiva de artigos submetidos à revista ele publicaria. Ele então deixou os papéis seguirem o processo usual. Houve pouca diferença entre os artigos que ele escolheu e aqueles selecionados após o processo completo de revisão por pares.1 Este pequeno estudo sugere que talvez não seja necessário um processo elaborado. Talvez um editor solitário, bem familiarizado com o que a revista deseja e conhecedor dos métodos de pesquisa, seja suficiente. Mas seria uma revista ousada que se afastaria do caminho sagrado da revisão por pares.

Outra resposta à questão sobre para que serve a revisão por pares é que ela serve para melhorar a qualidade dos artigos publicados ou das propostas de pesquisa financiadas. A revisão sistemática encontrou poucas evidências que apoiem isto, mas, mais uma vez, tais estudos são dificultados pela falta de uma definição consensual de um bom estudo ou de uma boa proposta de investigação.

Godlee F, Gale CR, Martyn CN. Efeito na qualidade da revisão por pares cegando revisores e pedindo-lhes que assinem seus relatórios: um ensaio clínico randomizado. JAMA1998;280:237 -40

A revisão por pares também pode ser útil para detectar erros ou fraudes. No BMJ fizemos vários estudos onde inserimos erros graves em artigos que enviamos a vários revisores. Ninguém jamais detectou todos os erros. Alguns revisores não identificaram nenhum, e a maioria dos revisores identificou apenas cerca de um quarto. A revisão por pares às vezes detecta fraudes por acaso, mas geralmente não é um método confiável para detectar fraudes porque funciona com base na confiança. Uma questão importante, à qual voltarei, é se a revisão por pares e os periódicos deveriam deixar de trabalhar com base na confiança.

[size]



OS DEFEITOS DA REVISÃO POR PARES

Portanto, temos poucas evidências sobre a eficácia da revisão por pares, mas temos evidências consideráveis ​​sobre seus defeitos. Além de ser fraco na detecção de defeitos grosseiros e quase inútil na detecção de fraudes, é lento, caro, desperdiça tempo acadêmico, altamente subjetivo, algo como uma loteria, sujeito a preconceitos e facilmente abusado.

Muitas revistas, mesmo na era da Internet, levam mais de um ano para revisar e publicar um artigo. É difícil obter bons dados sobre o custo da revisão por pares, especialmente porque os revisores muitas vezes não são pagos (o mesmo acontece com muitos editores). No entanto, existe um “custo de oportunidade” substancial, como lhe chamam os economistas, na medida em que o tempo gasto na revisão poderia ser gasto em algo mais produtivo – como investigação original.Estimo que o custo médio da revisão por pares por artigo para o BMJ (lembrando que a revista rejeitou 60% sem revisão externa) foi da ordem de £ 100, enquanto o custo de um artigo que acertou embora o sistema estivesse mais próximo de £ 1000.

As pessoas têm muitas fantasias sobre a revisão por pares, e uma das mais poderosas é que se trata de um processo altamente objetivo, confiável e consistente. Recebi regularmente cartas de autores que estavam chateados porque o BMJ rejeitou seu artigo e depois publicou o que consideravam um artigo muito inferior sobre o mesmo assunto. Sempre eles viam algo dissimulado. Eles acharam difícil aceitar que a revisão por pares é um processo subjetivo e, portanto, inconsistente. Mas provavelmente não é razoável esperar que seja objetivo e consistente. Se eu pedisse às pessoas que classificassem pintores como Ticiano, Tintoretto, Bellini, Carpaccio e Veronese, nunca esperaria que eles apresentassem a mesma ordem. Um estudo científico submetido a uma revista médica pode não ser uma obra tão complexa quanto um retábulo de Tintoretto, mas é complexo.

Assim, a evidência é que, se for pedido aos revisores que dêem uma opinião sobre se um artigo deve ou não ser publicado, eles concordam apenas um pouco mais do que se esperaria que concordassem por acaso. (Estou consciente de que esta evidência entra em conflito com o estudo de Stephen Lock, que mostra que apenas ele e todo o processo de revisão por pares do BMJ tenderam a chegar à mesma decisão sobre quais artigos deveriam ser publicados. A explicação pode ser que sendo o editor que elaborou o processo do BMJ e nomeou os editores e revisores (não foi surpresa que eles foram moldados à sua imagem e tomaram decisões semelhantes).

Às vezes, a inconsistência pode ser ridícula. Aqui está um exemplo de dois revisores comentando os mesmos artigos.

"Revisor A: `Achei este artigo um artigo extremamente confuso com um grande número de déficits'" "Revisor B: `Está escrito em um estilo claro e seria compreendido por qualquer leitor'."

Esta inconsistência – talvez inevitável – pode tornar a revisão por pares uma espécie de loteria. Você envia um estudo para um periódico. Entra num sistema que é efetivamente uma caixa preta, e então uma resposta mais ou menos sensata surge do outro lado. A caixa preta é como a roleta, e os prêmios e as perdas podem ser grandes. Para um acadêmico, a publicação em uma revista importante como Nature ou Cell é ganhar o jackpot.
Viés

As evidências sobre se existe preconceito na revisão por pares contra certos tipos de autores são conflitantes, mas há fortes evidências de preconceito contra mulheres no processo de concessão de bolsas.5 A evidência mais famosa sobre preconceito contra autores vem de um estudo de DP Peters e SJ Ceci.6 Eles pegaram 12 estudos provenientes de instituições de prestígio que já haviam sido publicados em revistas de psicologia. Eles redigitaram os artigos, fizeram pequenas alterações nos títulos, resumos e introduções, mas alteraram os nomes e instituições dos autores. Eles inventaram instituições com nomes como Centro Tri-Valley para o Potencial Humano. Os artigos foram então reenviados às revistas que os publicaram inicialmente. Em apenas três casos os periódicos perceberam que já haviam publicado o artigo, e oito dos nove restantes foram rejeitados – não por falta de originalidade, mas por causa da má qualidade. Peters e Ceci concluíram que isso era uma evidência de preconceito contra autores de instituições de menor prestígio.

Isto é conhecido como efeito Mathew: `Aqueles que têm, será dado; àqueles que não têm, será tirado até o pouco que têm”. Lembro-me de ter sentido fortemente o efeito quando, como jovem editor, tive de considerar um artigo submetido ao BMJ por Karl Popper.7 Não fiquei impressionado e pensei que deveríamos rejeitar o artigo. Mas não conseguimos. O poder do nome era muito forte. Então publicamos, e o tempo mostrou que estávamos certos em fazê-lo. O artigo argumentava que deveríamos prestar muito mais atenção aos erros na medicina, cerca de 20 anos antes de surgirem muitos artigos argumentando o mesmo.

O processo editorial de revisão por pares tem sido fortemente tendencioso contra os “estudos negativos”, ou seja, estudos que concluem que uma intervenção não funciona. Também está claro que os autores muitas vezes nem sequer se preocupam em redigir tais estudos. Isto é importante porque distorce a base de informações da medicina. É fácil ver por que os periódicos seriam tendenciosos contra estudos negativos. Os valores jornalísticos entram em jogo. Quem quer ler que um novo tratamento não funciona? Isto é chato.

Ficamos muito conscientes desse preconceito no BMJ; sempre tentamos nos concentrar não nos resultados de um estudo que estávamos considerando, mas na pergunta que ele fazia. Se a pergunta é importante e a resposta válida, então não importa se a resposta é positiva ou negativa. Receio, no entanto, que o preconceito não seja tão facilmente abolido e persista.

A Lancet tentou contornar o problema concordando em considerar os protocolos (planos) para estudos ainda a serem realizados.8 Se considerar que o protocolo é válido e se o protocolo for seguido, a Lancet publicará os resultados finais, independentemente de serem ou não válidos. são positivos ou negativos. Tal sistema também tem a vantagem de impedir que recursos sejam gastos em estudos deficientes. A principal desvantagem é que aumenta a soma da revisão por pares – porque a maioria dos protocolos precisará ser revisada para obter financiamento para realizar o estudo.
Abuso de revisão por pares

Existem várias maneiras de abusar do processo de revisão por pares. Você pode roubar ideias e apresentá-las como se fossem suas, ou produzir uma crítica injustamente dura para bloquear ou pelo menos retardar a publicação das ideias de um concorrente. Tudo isso aconteceu. Drummond Rennie conta a história de um artigo que ele enviou, quando era vice-editor do New England Journal of Medicine, para revisão a Vijay Soman.9 Depois de produzir uma revisão crítica do artigo, Soman copiou alguns dos parágrafos e o submeteu a outro periódico. , o Jornal Americano de Medicina. Esta revista, por coincidência, enviou-o para revisão ao chefe do autor do artigo plagiado. Ela percebeu que havia sido plagiada e se opôs veementemente. Ela ameaçou denunciar Soman, mas foi desaconselhada. Eventualmente, porém, descobriu-se que Soman inventou dados e pacientes, e deixou o país. Rennie aprendeu uma lição que nunca mais esqueceu, mas que as autoridades médicas parecem relutantes em aceitar: aqueles que se comportam desonestamente de uma maneira provavelmente o farão também de outras maneiras.
Seção AnteriorPróxima Seção

COMO MELHORAR A REVISÃO POR PARES?

A questão mais importante da revisão por pares não é se devemos abandoná-la, mas como melhorá-la. Muitas ideias foram apresentadas para fazer isso e um número crescente foi testado experimentalmente. As opções incluem: padronização de procedimentos; abertura do processo; cegar os revisores quanto à identidade dos autores; revisão de protocolos; revisores de treinamento; ser mais rigoroso na seleção e desmarcação dos revisores; usando revisão eletrônica; revisores recompensadores; fornecer feedback detalhado aos revisores; usando mais listas de verificação; ou criando agências de avaliação profissionais. Pode ser, no entanto, que a melhor resposta seja adotar uma forma muito rápida e leve de revisão por pares – e então deixar o mundo mais amplo criticar o artigo ou até mesmo classificá-lo da mesma forma que a Amazon pede aos usuários para classificarem livros e CDs. .

Espero que não pareça muito indulgente se eu descrever a jornada do BMJ, que está longe de ser concluída, para tentar melhorar a revisão por pares. Tentamos conduzir experimentos em vez de simplesmente introduzir mudanças.

O passo mais importante nessa jornada foi perceber que a revisão por pares poderia ser estudada como qualquer outra coisa. Essa foi ideia de Stephen Lock, meu antecessor como editor, junto com Drummond Rennie e John Bailar. Na altura era uma ideia radical, e ainda parece radical para alguns – mais ou menos como realizar experiências com Deus ou com o amor.
Cegando os revisores para a identidade dos autores

O próximo passo importante foi ouvir os resultados de um ensaio randomizado que mostrou que cegar os revisores quanto à identidade dos autores melhorou a qualidade das revisões (conforme medido por um instrumento validado).10 Este ensaio, que foi conduzido por Bob McNutt, AT Evans, e Bob e Suzanne Fletcher, foi importante não apenas por seus resultados, mas porque forneceu um desenho experimental para investigar a revisão por pares. Estudos onde você intervém e experimenta permitem conclusões mais seguras do que estudos onde você observa sem intervir.

Este ensaio foi repetido em maior escala pelo BMJ e por um grupo nos EUA que conduziu o estudo em muitas revistas diferentes.11,12 Nenhum dos estudos concluiu que o cegamento dos revisores melhorou a qualidade das revisões. Esses estudos também mostraram que esse cegamento é difícil de conseguir (porque muitos estudos incluem pistas internas sobre a autoria) e que os revisores conseguiram identificar os autores em cerca de um quarto a um terço dos casos. Mas mesmo quando os resultados foram analisados ​​observando apenas os casos em que o cegamento foi bem sucedido, não houve evidência de melhoria da qualidade da revisão.
Abrindo a revisão por pares

Neste ponto, nós do BMJ pensamos que mudaríamos drasticamente de direção e começaríamos a abrir o processo. Esperávamos que o aumento da responsabilização melhoraria a qualidade da revisão. Começamos conduzindo um ensaio randomizado de revisão aberta (o que significa que os autores, mas não os leitores, conheciam a identidade dos revisores) contra a revisão tradicional.13 Não teve efeito na qualidade das opiniões dos revisores. Eles não eram nem melhores nem piores. Fomos em frente e introduzimos o sistema rotineiramente por motivos éticos: tais julgamentos importantes deveriam ser abertos e responsáveis, a menos que houvesse razões convincentes para que não o pudessem ser – e não havia.

Nosso próximo passo foi realizar um teste do nosso sistema aberto atual contra um sistema em que todos os documentos associados à revisão por pares, juntamente com os nomes de todos os envolvidos, eram publicados no site do BMJ quando o artigo era publicado. Mais uma vez esta intervenção não teve qualquer efeito na qualidade do parecer. Assim, planeámos tornar a publicação de documentos de revisão por pares a próxima etapa na abertura do nosso processo de revisão por pares, mas isso ainda não aconteceu – em parte porque os resultados do ensaio ainda não foram publicados e em parte porque esta etapa exigiu vários desenvolvimentos técnicos.

O passo final foi, na minha opinião, abrir todo o processo e conduzi-lo em tempo real na web, diante dos olhos de todos os interessados. A revisão por pares seria então transformada de uma caixa negra num discurso científico aberto. Muitas vezes achei o discurso em torno de um estudo muito mais interessante do que o estudo em si. Agora que saí, não tenho a certeza se este sistema será introduzido.
Treinamento de revisores

O BMJ também experimentou outra maneira possível de melhorar a revisão por pares: treinando revisores.4 Talvez seja extraordinário que não tenha havido treinamento formal para um trabalho tão importante. Os revisores aprenderam por tentativa e erro (sem, é preciso dizer, um feedback muito bom) ou trabalhando com um revisor experiente (que infelizmente pode ser experiente, mas não muito bom).

Nosso estudo randomizado com revisores de treinamento teve três braços: um grupo não obteve nada; um grupo teve um dia de treinamento presencial mais um CD-rom do treinamento; e o terceiro grupo recebeu apenas o CD-rom. O resultado global foi que a formação fez pouca diferença.4 Os grupos que receberam formação mostraram alguma evidência de melhoria relativamente aos que não tiveram formação, mas não pensámos que a diferença fosse suficientemente grande para ser significativa. Não podemos concluir disto que uma formação mais longa ou melhor não seria útil. Um problema com nosso estudo foi que a maioria dos revisores já revisava há muito tempo. “Os cães velhos não podem aprender truques novos”, mas permanece a possibilidade de que os mais novos possam fazê-lo.
Seção AnteriorPróxima Seção

CONFIANÇA NA CIÊNCIA E REVISÃO POR PARES

Uma questão difícil é se a revisão por pares deve continuar a funcionar com base na confiança. Alguns deram pequenos passos no mundo da auditoria. A Food and Drug Administration nos EUA reserva-se o direito de consultar os registos e dados brutos daqueles que produzem estudos que são utilizados em pedidos de licenças de novos medicamentos. Às vezes acontece isso. Algumas revistas, incluindo o BMJ, estabelecem como condição de submissão que os editores possam solicitar os dados brutos por trás de um estudo. Fizemos isso uma ou duas vezes, apenas para descobrir que revisar dados brutos é difícil, caro e demorado. Não consigo imaginar os periódicos indo além da confiança de qualquer forma importante, a menos que todo o empreendimento científico se mova nessa direção.
Seção AnteriorPróxima Seção

CONCLUSÃO

Portanto, a revisão por pares é um processo falho, cheio de defeitos facilmente identificáveis ​​e com poucas evidências de que funcione. No entanto, é provável que continue a ser central para a ciência e as revistas porque não existe uma alternativa óbvia e os cientistas e editores continuam a acreditar na revisão por pares. É estranho que a ciência esteja enraizada na crença.[/size]