Algumas vezes os tratamentos têm efeitos drásticos (https://www.jameslindlibrary.org/additional-methods/comparison/dramatic-effects/) Estes podem ser indesejados e específicos, por exemplo, quando uma pessoa tem uma reação alérgica a um medicamento antibiótico. Os tratamentos também podem ter efeitos benéficos impressionantes, como a adrenalina nas reações alérgicas potencialmente fatais (McLean-Tooke et al. 2003). Porém, efeitos tão impressionantes são raros. Geralmente, os efeitos dos tratamentos são mais modestos, mesmo assim devemos saber sobre eles, por exemplo, o uso da aspirina para reduzir o risco de ataque cardíaco (Elwood 2004).

Por exemplo, a aspirina não previne todas as mortes prematuras após um ataque cardíaco, mas reduz a probabilidade de morte em cerca de vinte por cento, o que é importante em uma condição tão comum. Se estes efeitos moderados, porém importantes da maioria dos tratamentos forem detectados com segurança, devemos tomar cuidado para assegurar que comparações com viés não nos levem a acreditar que os tratamentos são eficazes quando na verdade são ineficazes ou prejudiciais, ou ineficazes quando eles podem na verdade ser eficazes.

Os vieses nos experimentos de tratamentos são aquelas influências e fatores que podem levar a conclusões sobre os efeitos dos tratamentos que diferem totalmente da verdade. Embora muitos tipos de vieses possam distorcer os resultados de pesquisas em saúde (Sackett 1979), na James Lind Library nos concentramos naqueles vieses que devem ser minimizados nos experimentos controlados de tratamentos. Estes são:

• vieses devido a diferenças nas pessoas comparadas ;
• vieses devido a diferenças na maneira como os desfechos dos tratamentos são avaliados ;
• viés de informação da evidência disponível ; e
• seleção com viés a partir da evidência disponível .

Ignorar estes vieses (ou às vezes, inescrupulosamente, se aproveitar deles), pode levar as pessoas a acreditar que um novo tratamento é melhor do que um tratamento existente, quando na verdade não é. Isto pode ocorrer em decorrência de basear as conclusões em:

• estudos que comparam o progresso de pessoas relativamente saudáveis que recebem um novo tratamento ao progresso de pessoas relativamente doentes que recebem um tratamento padrão (viés da distribuição).
• estudos em que as avaliações dos desfechos do tratamento provavelmente estejam com viés em favor de um novo tratamento, por exemplo, comparando as opiniões de pessoas que sabem que receberam um novo e caro tratamento com as opiniões daquelas que podem ter se decepcionado porque continuaram a usar um tratamento padrão desestimulante (viés do observador ou da medida).
• somente estudos que mostram um novo tratamento em um aspecto favorável, e não aqueles que sugerem que o tratamento possa ser prejudicial, que muitas vezes não são relatados (viés da informação).
• seleção e interpretação da evidência disponível com viés para justificar um ponto de vista em particular (viés da revisão).

Geralmente, os experimentos não controlados que resultam destes vieses não são reconhecidos pelo o que são. Entretanto, é comum pessoas com interesses escusos explorarem estes vieses de modo que os tratamentos sejam apresentados como se eles fossem melhor do que realmente são (Sackett and Oxman 2003).

Sendo os vieses involuntários ou propositais, as conseqüência são as mesmas: a não ser que os experimentos de tratamentos sejam controlados, alguns tratamentos ineficazes ou prejudiciais parecerão eficazes, enquanto que alguns tratamentos eficazes parecerão ineficazes ou prejudiciais.