Second opinion voor SVRZ

Voor de Stichting Voor Regionale Zorgverlening (SVRZ) is een uitgevoerd onderzoek nader bekeken op de methodologische en statistische aspecten daarvan.

Second opinion Prestatie-overzicht kwaliteitskader

In een rapport van Zichtbare Zorg is verslag gedaan van een klanttevredenheidsonderzoek en zijn de uitkomsten gerelateerd aan landelijke gegevens. Daarnaast is in de rapportage Leeswijzer bij het Prestatie-overzicht Kwaliteitskader VV&T versie 1.8" van de Stuurgroep Kwaliteitskader VV&T de methodologie daarvan verantwoord. Dezelfde methode is in 2012 nog steeds gehanteerd, zoals in het rapport "Leeswijzer bij Rapportage Verslagjaar 2012" van Zorg en Kwaliteit is na te lezen.

De conclusie was dat er op zijn zachts gezegd 'vreemde methode' is gebruikt om te oordelen of een instelling het op een bepaald aspect goed of niet goed doet (er zijn sterren toegekend). Daarnaast is een correctiemethode gebruikt om te corrigeren voor de case-mix van een instelling met een multi-level regressie-analyse. Voor zover uit de beschrijving kon worden gehaald, is hier goed over nagedacht en is deze methode een goede mogelijkheid. Hieronder volgt een meer gedetailleerder verslag van de second opinion van Statisticor.

Betrouwbaarheidsinterval

De uitleg over het toekennen van de sterren is op zichzelf helder. De wijze waarop uitgelegd wordt wat een betrouwbaarheidsinterval is, is echter niet correct. Er staat: "Dit wil zeggen dat de kans dat het interval de gemiddelde score bevat 95% is". Er wordt hier geen duidelijk onderscheid gemaakt tussen het werkelijke gemidddelde en het gevonden gemiddelde, waardoor 'de gemiddelde score' slaat op het gevonden gemiddelde. Het gevonden gemiddelde ligt altijd binnen het berekende bhi. Wat bedoeld wordt, is dat een 95%-bhi voor het gemiddelde een range aangeeft waartussen met 95% zekerheid het werkelijke gemiddelde zal liggen (bayesiaanse formulering). Als deze range groot is, bijv. variërend van een 4 tot een 7, kan eigenlijk geen goed oordeel worden gegeven op basis van de beschikbare gegevens.

Significantie

Wat geprobeerd wordt met het toekennen van sterren, is om de grootte van het bhi bij het oordeel te betrekken, waarbij onterecht iets van 'significantie' gesuggereerd wordt (zie tabelkop op pag. 8, "sterren op basis van significante afwijking van het gemiddelde"). De sterren die op deze manier tot stand zijn gekomen, hebben echter niets met statistisch significante afwijkingen te maken.

Er is een soort gemiddelde bhi gemaakt en hiermee zijn de bhi's van de afzonderlijke instellingen vergeleken. De ordening van instellingen die op deze manier totstandkomt is niet geheel onzinnig te noemen, maar het combineren van betrouwbaarheid met gemiddelde is vreemd. Bij een statistische toets worden beide gegevens wel gebruikt, maar worden niet op deze wijze gecombineerd.

De gemiddelde ondergrens, die gebruikt wordt bij de toekenning van de sterren, is feitelijk een willekeurige, waaraan geen inhoudelijke betekenis kan worden toegekend. Het feit bijv. dat het betrouwbaarheidsinterval in zijn geheel onder het landelijk gemiddelde valt, zegt namelijk niets over statistische significantie (wel dat deze instelling waarschijnlijk slechter scoort dan landelijk). Als de wens bestaat aan te geven of de score van een bepaalde instelling significant afwijkt van het landelijk gemiddelde, dient dat met bestaande statistische toetsen te worden gedaan, waarbij dan rekening gehouden moet worden met het probleem van multiple testing door het grote aantal zorginstellingen.

Correctiemethode

Met een geschikte correctiemethode (multi-level regressiemethode) is geprobeerd om zoveel mogelijk verschillen tussen patiëntenpopulaties uit te schakelen, waardoor slechts uitspraken over de kwaliteitsverschillen tussen instellingen overblijven. Over de wijze waarop dit is aangepakt, lijkt goed te zijn nagedacht en is op het eerste gezicht niet veel kritiek te leveren. Hoe echter concreet het model eruit ziet, hoe met scheefheid, type variabelen, multicollineariteit e.d. is omgegaan, kan echter niet beoordeeld worden, maar bepaalt wel in grote mate de kwaliteit van de correctie.

⇦ vorige volgende⇨

privacy

disclaimer