Jak weryfikować rekomendacje ekspertów?

Dostaliśmy ostatnio prośbę o polecenie dobrych publikacji, z których można by czerpać wiedzę. Zapewne nie raz i nie dwa spotkaliście się z frazą w jakimś artykule albo reportażu, że „amerykańscy naukowcy dowiedli to czy tamto…”. Wspomniane badania naukowe mogą stanowić doskonałe źródło wiedzy, ale czytanie ich i interpretacja mogą stanowić wyzwanie. Dlatego postanowiliśmy podzielić się z Wami krótkim poradnikiem jak wyszukiwać badań naukowych, jak je czytać i weryfikować.

W dzisiejszym świecie nie cierpimy na brak wiedzy czy utrudniony do niej dostęp jak to bywało wcześniej w historii, jako ludzkość generujemy ta dużo informacji każdego dnia, że podstawową umiejętnością teraz staje się wiedza jak odsiewać fake newsy od rzetelnych informacji. Zastanówmy się więc jak do tego tematu podejść mądrze. 

Kto pyta, nie błądzi

Naszym zdaniem ważna uwaga na początku: To, że gdzieś zostało wspomniane o badaniu naukowym, jeszcze nie oznacza, że jest ono rzetelne i że w ogóle istnieje. Może się to wydawać śmieszne, ale istnieje wiele tzw. alternatywnych organizacji udających medyczne instytuty, które publikują artykuły łudząco podobne to prawdziwych badań. To, że gdzieś rzuci Wam się w oczy chwytliwy tytuł, jeszcze nie oznacza, że powinniście mu wierzyć.

Nie wierzcie we wszystko co zobaczycie lub usłyszycie w internecie.

Gdzie szukać badań?

Najpopularniejsze bazy naukowych artykułów to PubMed, Google Scholar, ResearchGate, ScienceDirect czy Scopus. Możecie też próbować pytać, używając odpowiednich promptów czyli słów kluczy narzędzia wykorzystujące AI jak choćby Perplexity.

Jaka jest bariera wejścia?

Niezaprzeczalnie łatwiej Wam będzie samemu szukać i weryfikować treści, na jakie natraficie jeśli będziecie dysponować odpowiednią bazą słów po angielsku, gdyż to w tym języku najczęściej publikowane są artykuły naukowe.

Gdybyście nie czuli się pewnie w skomplikowanym słownictwie i terminologii występującej w danej dziedzinie, możecie użyć coraz lepszych narzędzi tłumaczących nawet obszerne teksty jak np. DeepL.

Jak czytać badanie?

Zaczynamy oczywiście od przeczytania streszczenia, czyli abstraktu. Jest to pewnego rodzaju kwintesencja całej pracy i powinna zawierać na końcu informacje o wynikach, jakie uzyskali badacze.

Warto sprawdzić kto jest autorem badania i czy nie występuje jakiś konflikt interesów. Można oczywiście przejrzeć ile i jakie dotychczas prace opublikował dany badacz czy grupa, ale można także podejrzeć czy przypadkiem badanie nie jest sponsorowane choćby przez producenta leku, czy suplementu. Oczywiście istnieje jakiś cień szansy, że ktoś opublikuje wyniki badań i opowie w nich, że jednak coś nie działa, jak reklama chciała, ale wiecie, jak to jest, „szanse są czysto matematyczne” jak to się zwykło mówić o naszej reprezentacji w piłkę 🙂

Warto przejrzeć metody badawcze, jakie zostały wykorzystane przy tworzeniu danej pracy. Znajdziecie tam dużo trudnej terminologii i jeśli nie jesteście z branży to trudno często ocenić czy dana metoda została użyta poprawnie, ale można przynajmniej zwrócić uwagę na grupę badawczą, czyli ilość uczestników (a najlepiej różnych grup kohortowych), czas trwania danego badania no i czy było prowadzone na ludziach, bo dla nas i dla polnej myszki 12 godzin to niby to samo, ale jednak nie do końca.

Sekcja wyników powinna być publikowana w czytelny i przejrzysty sposób. Dobrze gdyby były poddane analizie przy wykorzystaniu wykresów czy tabel grupujących dane.
Ci, którzy byli na studiach inżynierskich, na pewno zetknęli się z koniecznością pisania sprawozdań z ćwiczeń laboratoryjnych albo innych projektów. Nie wszyscy mieli to szczęście, więc pozwólcie, że wytłumaczę, iż często dyskusja i wnioski były najważniejszymi punktami danego sprawozdania.

Dyskusja może odnosić się do innych prac z danego zagadnienia, polemizować z nimi bądź stwierdzać korelacje, wnioski podsumowują całą pracę i niejako tłumaczą, dlaczego coś wyszło, jak się tego spodziewaliśmy (lub nie). 

Najczęściej występujące błędy

Najczęstszym grzechem jest zaniechanie przeczytania czegokolwiek więcej niż abstraktu, krzykliwy, niemal clickbaitowy, tytuł ma przyciągnąć nasz wzrok, a może się okazać, że z dyskusji i wniosków wynika coś kompletnie innego. Może też wyjść na światło dzienne, że badania były czysto teoretyczne, badacze np. pytali ankietowanych, jak się czuli, a jak wiemy, ma to wiarygodność niczym przedwyborczy sondaż poparcia. Podobnie rzecz się ma do czasu badania, grupy badanych, bo 12-letnie badania na setkach tysięcy ludzi będzie mimo wszystko bardziej wiarygodne niż 2- miesięczne na 30 kobietach z jednej wioski.

Renoma czasopisma

Warto wiedzieć, że w nauce istotnym czynnikiem jest tzw. Impact Factor, czyli wskaźnik cytowań. Im czasopismo bardziej poczytne, tym częściej artykuły tam publikowane są cytowane gdzieś dalej, a my możemy z tego wnioskować, że daje to większą renomę.

Jest tu czasami pułapka wynikająca ze zbyt wąskiej dziedziny, która zajmuje tylko garstkę specjalistów i wtedy trudno osiągać duże ilości cytowań. 

Podział badań i ich hierarchia

Przede wszystkim podzielić badania należy na badawcze i przeglądowe. Pierwsze z nich są opisem faktycznego doświadczenia naukowego i otrzymanych wyników, druga grupa, czyli przeglądy systematyczne i meta-analizy to podsumowanie wielu badań innych autorów.

Warto wiedzieć, że wśród badań naukowych istnieje hierarchiczny podział od tych najmniej istotnych do tych, które uznawane są za najbardziej wiarygodne. Zaczynając od najmniej wiarygodnych, będą to kolejno:

• Opinie ekspertów (nie licząc influencerów) - brakuje im potwierdzeń, bazują na stwierdzeniach, że coś działa, bo “widzieli” że coś działa. Ale nie potrafią przytoczyć przykładów, ani wyjaśnić mechanizmów, które stoją za “działaniem. Należy traktować je tylko w kontekście osobistych opinii, a nie prawd objawionych.
• Badania obserwacyjne - case studies, raporty, badania kohortowe, badania kliniczno-kontrolne. Obserwuje się ludzi w jakimś okresie czasu, pojedynczo lub w grupach, bez interweniowania. Badania te dostarczają słabych dowodów, ze względu na to, że nie potrafią dowieść związków przyczynowo skutkowych. Pokazują jedynie korelację a nie związki przyczynowo skutkowe, więc nie powinny być podstawą do podejmowania decyzji zdrowotnych. Zazwyczaj są jedynie punktem wyjścia i generatorem hipotez do sprawdzenia podczas bardziej szczegółowych i lepiej zaplanowanych badań, np RTC. Trzeba podkreślić, że branże zdrowotne i suplementacyjne bardzo mocno bazują na danych korelacyjnych, ponieważ jest ich dużo i są łatwo dostępne.
• Badania randomizowane z grupą kontrolną - złoty standard badań, który generuje mocne dowody naukowe. Naukowcy używają hipotez wygenerowanych podczas badań obserwacyjnych i projektują specjalne scenariusze badawcze, dzięki którym mogą kontrolować zewnętrzne, zaburzające wyniki zmienne. Innymi słowy, hipoteza do zbadania jest izolowana a badanie projektowane tak, żeby jasno pokazać związek przyczynowo skutkowy pomiędzy czynnikiem a efektem, lub jego brak.
• Przeglądy systematyczne i metaanalizy - zebrane i przeanalizowane dane z wielu badań RTC. Czasami potrafią wykryć i wypunktować błędy i przeoczenia w badaniach RTC. 

Śmieszne korelacje: https://www.tylervigen.com/spurious-correlations
Książka Half Life of facts: https://www.amazon.com/Half-Life-Facts-Everything-Know-Expiration/dp/159184651X/
Książka Learned Excellence: https://www.amazon.com/Learned-Excellence-Disciplines-Leading-Performers/dp/0063316161