Homeopathy: the 2015 NHMRC report and its criticism re-analysed

We have discussed the NHMRC report on homeopathy several times – see, for instance, here, here and here. Perhaps understandably, homeopaths have great difficulties accepting its negative findings, and have complained about it ever since it was published. Now, a very detailed and well-researched analysis has become available of both the report and its criticism. Here I take the liberty to copy and (clumsily) translate its conclusions; if you can read German, I highly recommend studying the full document.

START OF MY TRANSLATION

The criticism of the NHMRC review is very voluminous and highlights many different aspects of the background, the methodology, the execution and the unwanted results from a homeopathic perspective. The very engaging discussions in the general public about this document and its flaws are, however, relatively meaningless: the NHMRC arrives at exactly the same conclusions as the employee of the Homeopathic Research Institute (HRI), Mathie, in his reviews of 2014 and 2017.

In both reviews, Mathie evaluated a total of 107 primary studies and found only 2 trials that could be rated as qualitatively good, that is to say constituting reliable evidence. Mathie did upgrade 2 further studies to the category of reliable evidence, however, this was in violation of the procedures proscribed in the study protocol.

The criticism of the NHMRC review was not able to make a single valid rebuttal. No condition could be identified for which homeopathy is clearly superior to placebo. This is all the more important, as Mathie avoided the mistakes that constituted the most prominent alleged criticisms of the NHMRC report.

• Since Mathie and most of his co-authors are affiliated with organisations of homeopathy, an anti-homeopathy bias can be excluded.
• Mathie conducted classic reviews and even differentiated between individualised and non-individualised homeopathy.
• Mathie did not exclude studies below a certain sample size.

Yet, in both reviews, he draws the same conclusion.

In view of the truly independent replications of an employee of the HRI, we can be sure that there are, in fact, no solid proofs for the effectiveness of homeopathy. The claim of a  strong efficacy, equivalent to conventional medicines, that is made by homeopathy’s advocates is therefore not true.

END OF MY TRANSLATION

And here is the original German text:

Die Kritik an dem Review des NHMRC ist sehr umfangreich und beleuchtet sehr viele verschiedene Facetten über das Umfeld, die Methodik und die Durchführung sowie das aus Sicht der Homöopathen unerwünschte Ergebnis selbst. Die in der Öffentlichkeit sehr engagierte Diskussion um diese Arbeit und ihre möglichen Unzulänglichkeiten sind jedoch relativ bedeutungslos: Das NHMRC kommt zu genau dem gleichen Ergebnis wie Mathie als Mitarbeiter des HRI in seinen in 2014 und 2017 veröffentlichten systematischen Reviews:

Insgesamt hat Mathie in beiden Reviews 107 Einzelstudien untersucht und fand nur zwei Studien, die als qualitativ gut („low risk of bias“), also als zuverlässige Evidenz betrachtet werden können. Mathie hat zwar vier weitere Studien zur zuverlässigen Evidenz aufgewertet, was allerdings im Widerspruch zu den üblichen Vorgehensweisen steht und im Studienprotokoll nicht vorgesehen war.

Die Kritik am Review des NHMRC hat keinen einzigen Punkt fundiert widerlegen können. Man konnte keine Indikation finden, bei der sich die Homöopathie als klar über Placebo hinaus wirksam erwiesen hätte. Diese Punkte sind umso bedeutsamer, weil Mathie die am NHMRC hauptsächlich kritisierten Fehler nicht gemacht hat:

• Als Mitarbeiter des HRI und mit Autoren, die überwiegend für Homöopathie-affine Organisationen arbeiten, ist eine Voreingenommenheit gegen die Homöopathie auszuschließen.
• Mathie hat klassische Reviews ausgeführt, sogar getrennt zwischen einzelnen Ausprägungen (individualisierte Homöopathie und nicht-individualisierte Homöopathie).
• Mathie hat keine Größenbeschränkung der Studien berücksichtigt.

Er kommt aber dennoch zweimal zum gleichen Ergebnis wie das NHMRC.

Angesichts der wirklich als unabhängig anzusehenden Bestätigung der Ergebnisse des NHMRC durch einen Mitarbeiter des Homeopathy Research Institute kann man sicher davon ausgehen, dass es tatsächlich keine belastbaren Wirkungsnachweise für die Homöopathie gibt und dass die von ihren Anhängern behauptete starke, der konventionellen Medizin gleichwertige oder gar überlegene Wirksamkeit der Homöopathie nicht gegeben ist.

I do apologise for my clumsy translation and once again encourage those who can to study the detailed original in full.

My conclusion of this (and indeed of virtually all criticism of homeopathy) is that homeopaths are just as unable to accept criticism as an evangelic believer is going to accept any rational argument against his belief. In other words, regardless of how convincing the evidence, homeopaths will always dismiss it – or, to put it in a nutshell: HOMEOPATHY IS A CULT.