Ale věrohodné se nerovná robustní a zobecnitelné.


Ale věrohodné se nerovná robustní a zobecnitelné.

Lidé evidentně vědí, do které skupiny byli zařazeni. Přiřazení léčby nelze zaslepit. Ti, kteří byli zařazeni do kontrolní skupiny, jsou pravděpodobně zklamáni.

Nejen, že lidé, kteří jsou pověřeni meditací, dostanou meditaci, ale také se jim naplní jejich pozitivní očekávání a dostane se jim mnohem větší podpory a pozornosti než kontrolní skupině. Takže, v důležitém smyslu, typický meditační pokus srovnává účastníky, kteří dostávají kombinaci meditace a nespecifických (tj. placebo) faktorů, s tím, že nedostanou nic, ale možná budou zklamáni.

Typické studie se jako měřítka výsledku spoléhají pouze na subjektivní dotazníky s vlastním hodnocením. Tato opatření jsou náchylná ke zkreslení vznikajícím při nezaslepeném srovnání aktivní léčebné skupiny a nesrovnatelné kontrolní skupiny. Takový design studie porovnává aktivní léčbu s nesourodými kontrolními skupinami se subjektivními ukazateli výsledků, které hlásí sebe sama, a dokonce by i inertní nebo homeopatické léky vypadaly jako účinné. Zde je nápadná ukázka.

V důležitém smyslu randomizované studie nehodnotí pre-post rozdíly v léčbě. Pokusy spíše hodnotí, zda existují rozdíly ve výsledcích pre-post, tj. rozdíly v čase mezi léčenou a srovnávací/kontrolní skupinou. Rozdíly v rámci skupiny pro konkrétní léčbu zveličují její účinek, protože kombinuje aktivní léčbu a nespecifické účinky.

Nyní můžete vidět zaujatost autorů ve studii, která prováděla analýzy v rámci skupiny a snažila se pochopit, zda tyto rozdíly byly statisticky významné v rámci meditační skupiny, ale ne v kontrolní skupině.

Autoři hodnotí meditaci plus nespecifické faktory versus nic kromě možná zklamání. Dělají to mnohokrát.

Zaměřením se na rozdíly v rámci skupiny se autoři vyhnuli konfrontaci s nulovými nálezy, ale jakákoli pozitivní zjištění jsou pravděpodobně nafouknutá a způsobená náhodou. Jejich velikost vzorku byla příliš malá a jejich vícenásobné analýzy využívaly náhodu. Připomeňme, že autoři měli devět proměnných s výsledky self-report: tři psychofyziologické srovnávané ve dvou meditačních podmínkách a tři kontrolní podmínky.

Skupiny byly příliš malé na to, aby bylo možné očekávat detekci i středně velkých účinků

Již dříve jsem navrhl, že působivý počet 135 účastníků byl méně důležitý než čísla v buňkách pro srovnání velikosti, což bylo 27 účastníků. Autoři spoléhají na to, že budou schopni odhalit klíčové rozdíly, které je zajímají, pomocí srovnání dvou skupin 27 účastníků, nikoli 135.

Autoři uvádějí, že provedli formální analýzu síly, aby určili počet účastníků potřebných k odhalení statisticky významného rozdílu ve výsledku, pokud by rozdíl skutečně existoval. Formální mocenská analýza však není uvedena v článku ani v doplňkových materiálech.

Mít pouze 27 účastníků ve skupině je mnohem méně než 50 potřebných k tomu, aby byla 70% pravděpodobnost detekce středně velkého (d = 0,50) efektu. Napříč studiemi hodnotícími psychologické intervence je rozumnější mírná velikost účinku d = 0,30, což ponechává vzorek 27 s méně než 50/50 šancí na odhalení rozdílu. Většina nálezů, která by byla významná na větším vzorku, by chyběla. Vzhledem k vyššímu prahu potřebnému k dosažení statistické významnosti s n=27 se většina statisticky významných rozdílů při pokusu o replikaci ukáže jako přehnaná nebo dokonce nepravdivá. Průměrné výsledné skóre pro léčebnou skupinu pouze 27 jsou také nestabilní, podléhají vzorkování šumu. Vyřazení nebo opětovné bodování jednoho účastníka by mohlo podstatně změnit průměr pro skupinu, což by mělo za následek zisk nebo ztrátu statistické významnosti.

Jsem skeptický, zda je mezi těmito dvěma velmi podobnými meditačními cvičeními nějaký rozdíl větší než d = 0,1. Výhody hodnocení těchto dvou v jediném pokusu by vyžadovaly stovky účastníků, aby prokázali. Jaký možný klinický význam by takové rozdíly měly?

Interpretovatelnost korelací s 27 účastníky na skupinu je ještě pochybnější. Analýzy v závislosti na pravděpodobné korelaci sebehodnocení ~,20 mezi sebehodnocením a psychofyziologickými měřeními by vyžadovaly 167 účastníků na skupinu. Rozdíly mezi korelacemi by vyžadovaly ještě více účastníků. Kromě toho mohou změny v korelaci v důsledku údajů jednoho nebo dvou účastníků značně kolísat. Stabilizace korelace by vyžadovala 100 účastníků, což je mnohem více než největší z pokusů meditace.

V této studii bychom se každopádně neměli honit za statistickou významností

Nikdy není dobrý nápad určovat výsledek klinické studie porovnáním toho, zda jsou rozdíly v rámci skupiny významné v léčbě oproti kontrolám. Dvě podmínky se mohly lišit v tom, zda dosáhly statisticky významných rozdílů (str< .05) versus the null hypothesis of zero effect without differing from each other. The problem is particularly severe in small trials where a large effect, usually obtained by chance, has achieved statistical significance.

Zjištění statistické významnosti (str

Ale obecněji:

P-hodnoty dostaly v poslední době docela výprask. Tyto široce používané a běžně nesprávně používané statistiky byly obviňovány z toho, že dávají nádech legitimity pochybným studijním výsledkům, podporují špatné výzkumné postupy a podporují falešně pozitivní výsledky studií.

Naštěstí Americká statistická asociace poskytla skvělou službu tím, že nedávno vydala Oficiální prohlášení o statistické významnosti a P-hodnotách spolu s některými komentáři odborníků ve svých skvělých tiskových zprávách se skvělými citacemi.

P-hodnota nebyla nikdy zamýšlena jako náhrada za vědecké uvažování.

Postupem času se zdá, že p-hodnota se stala strážcem, zda je práce publikovatelná, alespoň v některých oblastech. Tato zjevná redakční zaujatost vede k „efektu šuplíku souborů“, ve kterém je mnohem pravděpodobnější, že budou publikovány výzkumy se statisticky významnými výsledky, zatímco jiné práce, které by mohly být stejně vědecky stejně důležité, se nikdy v tisku neobjeví.

Proč nebudu dávat seriózní pohled na vzor významných výsledků uváděných autory

Prezentaci autorů a diskusi o výsledcích si čtenáři mohou prohlédnout v článku s otevřeným přístupem.

Vzhledem k mnoha testům na výběr a roli náhody dosáhnou autoři věrohodné i nevěrohodné výsledky. Ale věrohodné se nerovná robustní a zobecnitelné. Kromě toho, co je věrohodné, se tak děje použitím přijatých předpokladů o procesu stresu a o tom, jak může meditace snížit jeho účinek na výsledky duševního a fyzického zdraví. Takové předpoklady nejsou v této studii podrobeny silnému testu, ale lze je použít k filtrování dnešních hlučných výsledků do zdánlivě silné pozitivní studie a potvrzení těchto předpokladů, ale to je jedna iluze dodávající důvěryhodnost druhé.

Cvičení však může mít na čtenáře úžasný účinek a přesvědčit i https://recenzeproduktu.top/ toho, kdo byl vyzbrojen patřičnou skepsí. Pokračujte, podívejte se a nechte se překvapit, jak se necháte přimět k přijetí „okrajově významného“, když říct „null“ by zkazilo dobrý příběh.

Tak se na sociálních sítích vytváří zdání pokroku o obrovské meditační literatuře, která opravdu nikam rychle nejde.

Co se dalo udělat jinak?

Znovu připomínáme, že podhodnocené studie meditace mohou být získány pro významné výsledky a publikovány. Je to recept na úspěch, který je tak běžný a formulovaný, že se jej mnoho autorů řídí, aniž by si uvědomovali, že je něco špatně. Potřebujeme mnohem méně randomizovaných studií hodnotících meditaci a více studií, které jsou přiměřeně poháněné, mají vhodné kontrolní skupiny, vhodný primární výsledek a funkce, jako jsou analýzy záměru k léčbě ke snížení zkreslení.

Pokud mají zájem prohloubit porozumění meditaci a riskovat, že se ukáže, že se mýlí, autoři by mnohem lépe otestovali jednoduchou hypotézu s jednodušším designem a více účastníky. Vzhledem k tomu, že jsme neprokázali, že meditace je více než nespecifické faktory, co takhle prozkoumat, zda má jedno z těchto cvičení sebesoucitu silnější účinky, než když účastníci tiše sedí s pokyny k relaxaci po dobu 11 minut?

Pak je tu možnost otestovat sebesoucit proti falešné meditaci. Jedna studie porovnávala široce používanou aplikaci Headscape pro meditaci s takovým podvodem. Účastníkům bylo řečeno, že byli v meditační studii, ale zatímco polovina z nich obdržela obvyklý protokol Headscape, ve druhém případě protokol poskytoval falešnou meditaci. Každé sezení začalo pozváním účastníků, aby seděli se zavřenýma očima. Tato cvičení byla označována jako meditace, ale účastníkům nebyl poskytnut návod, jak ovládat své uvědomování si svého těla nebo dechu. Účastníci těchto dvou podmínek byli nerozeznatelní v rámci různých self-report opatření.

Případně mohou být účastníci instruováni, aby jednoduše vydechli a nechali převzít přirozený rytmus dýchání a věnovali mu pozornost. Nepřekvapilo by mě, kdyby se obě jednoduché instrukce nelišily v účincích na fyziologická opatření použitá v této studii od cvičení sebesoucitu. Vyšetřovatelé by mohli stanovit některá a priori kritéria pro odmítnutí pravděpodobnosti klinicky významného rozdílu.

Neschopnost prokázat klinicky významný rozdíl mezi meditačními cvičeními sebe-soucitu a jednou z těchto aktivních kontrolních skupin by byla pro zastánce meditace zklamáním, ale představte si, jak osvobozující by takové výsledky mohly být pro všechny ostatní. Nepotřebujeme víkendové pobyty; nepotřebujeme lekce ani každodenní cvičení. Můžeme se jednoduše zastavit a na chvíli se zamyslet nebo možná vydechnout…

Autor

James Coyne

Dr. Coyne je emeritním profesorem psychologie v psychiatrii na Perelmanově lékařské fakultě University of Pennsylvania, kde byl také ředitelem behaviorální onkologie, Abramson Cancer Center a senior Fellow Leonard Davis Institute of Health Economics. Působil také jako profesor psychologie zdraví na University Medical Center, Groningen, Nizozemsko, kde vyučoval vědecké psaní a kritické myšlení a vedl řadu úspěšných ERC, mezinárodních a nizozemských grantů. V roce 2015 byl Carnegieho Centenary hostujícím profesorem na Stirling University ve Skotsku. Jim napsal přes 400 článků a kapitol. V roce 2001 byl Clarivate Analytics označen za jednoho z nejcitovanějších výzkumníků na světě. Nedávno byl označen za jednoho z 200 nejvýznamnějších psychologů druhé poloviny 20. století.Kromě blogování na Science-Based Medicine bloguje na Mind the Brain na CoyneoftheRealm.com a vede oblíbený workshop Jak psát vysoce působivé dokumenty a co dělat, když je váš rukopis odmítnut.

Nový rok začíná telomerami jako nejtrendovějším z trendových biomarkerů. Jak je vidět v Času, telomery jsou prostředkem ke sledování našeho blahobytu, abychom se mohli chránit před nejrůznějšími hrozbami, včetně předčasné smrti.

Skeptik musí udělat velký domácí úkol, aby shromáždil důkazy potřebné k tomu, aby čelil nejnovějším přehnaným, předčasným a přímo pseudovědeckým tvrzením o délce telomer, která je měřítkem „stárnutí buněk“, a tedy toho, jak dlouho budeme žít.

Co je telomera a proč záleží na její délce?

Harriet Hall nedávno popsala telomery:

Každý chromozom má telomeru, opakovanou sekvenci nukleotidů na konci řetězce DNA. Jde o jednorázovou část, která nenese žádnou genetickou informaci. U obratlovců je nukleotidová sekvence TTAGGG; toto se opakuje 300 až několik tisíckrát podle druhu zvířete. Telomery jsou něco jako aglet, ten malý tvrdý kousek na konci tkaničky, který ji brání, aby se rozpletla. Chrání konec chromozomu a chrání jej před ztrátou důležitých genů nebo přilnutím k jiným chromozomům.

Telomery jsou něco jako aglets. Foto od Fieggen CC BY-SA 3.0 prostřednictvím Wikimedia Commons

Řeči o telomerech se nepoužívají jen k prodeji pochybných diagnostických testů a doplňků stravy. Existuje silný tlak na to, aby se délka telomer stala měnou toho, jak přemýšlíme, měříme a děláme vědu o svém zdraví a pohodě a jak cílíme naše zdravotní intervence. Vyvíjí se velké úsilí, aby se věda o telomerech připojila k nabádání, abychom si zachránili životy jógou, meditací a „být u toho“.

Lékařka, která získala Nobelovu cenu za svou práci o telomerách, nám řekla, že je „trochu „nezbytné“ mluvit o životním stylu a podobných věcech, ale délka telomer „poskytuje velmi konkrétní – i když statistický – výsledek. jak se vede.”

Abychom toto všechno mohli vyhodnotit, nemůžeme se spoléhat na obvykle spolehlivou „heuristiku získávání zdrojů“. Spousta medializovaných a nesmyslných tvrzení v jiných oblastech vědy a medicíny může být snadno zamítnuta, když se podíváme na to, kdo je zastoupen jako autorita a odkud pocházejí jejich důkazy. Nemusíme moc přemýšlet o tvrzeních závislých na homeopatech nebo z výzkumu zveřejněného v Chinese Journal of Homeopathic Medicine.

Ale co když osoba, která tvrdí o telomerech, je nositelem Nobelovy ceny nebo autorem článku, který přispěl k tomu, že někdo jiný získal Nobelovu cenu? Nebo blogující ředitel institutu NIH? A co když tvrzení cituje článek v prestižním, recenzovaném a vysoce působivém časopise?

Ve hře je hodně peněz. Patenty a produkty vázané na telomery mají zřejmý komerční potenciál, ale existuje také další pokušení v tom, že divoká tvrzení by mohla poslat rádoby výzkumníky z lavice do zasedací místnosti létající obchodní třídou, aby vedli s korporacemi pěticiferné hodiny za hodinu.

Ředitel NIMH říká výzkumníkům psychoterapie, aby věnovali pozornost telomerám

Pobídky k humbuku a zkreslení vznikají na místech, kde bychom je možná nečekali. Ředitel NIMH Thomas Insel označil délku telomer jako klíčový cíl ve svém osobním blogu. Stanovuje priority financování, které mohou být pro vědce ještě důležitější než pravda. Jinak zodpovědní vědci se budou cítit pod tlakem, aby dělali extravagantní tvrzení spojující jejich práci s telomerami. A když vědci zveličují sílu a význam svých zjištění jako promyšlenou strategii, aby byla jejich další žádost o grant NIH financovatelnější, nejde o deklarovatelný střet zájmů. Nemůžete se spoléhat na prohlášení „žádné prohlášení o střetu zájmů“ ve vědeckých časopisech pro ujištění, že články nejsou poskvrněny agendou jejich autorů.

Výzkumníci v oblasti psychoterapie, kteří si byli dříve jisti pravidelným získáváním finančních prostředků NIMH, nyní zjišťují, že musí prokázat, že jejich terapie mění biomarkery, nejen redukuje depresivní symptomy, pokud mají dostat náhradu. A co může být významnějšího a inovativnějšího než zpomalení zkracování telomer?

„Výzkum založený na nositeli Nobelovy ceny“?

Co si myslíme o videu Williama H. ​​Andrewse, PhD, představujícího svůj „výzkum založený na Nobelově ceně“ o snížení stárnutí a dokonce prodloužení telomer?

Co to znamená, že jeho výzkum je „založený na nositelích Nobelovy ceny“? Prohledejte ho ve službě Google Scholar nebo Web of Science.