Elmi təcrübələrin təxminən 50%-nin təkrar istehsal oluna bilməyən olduğu ortaya çıxdı

2024 Müəllif: Seth Attwood | [email protected]. Son dəyişdirildi: 2023-12-16 15:57

Təsadüfən xəbər və məlumat axınında Nature Scientific Reports-da bir məqalə ilə rastlaşdım. O, 1500 alimin elmi tədqiqat nəticələrinin təkrarlanabilirliyi ilə bağlı sorğunun məlumatlarını təqdim edir. Əgər əvvəllər bu problem bioloji və tibbi tədqiqatlar üçün qoyulmuşdusa, burada bir tərəfdən izah oluna bilər (yanlış korrelyasiya, tədqiq olunan sistemlərin ümumi mürəkkəbliyi, bəzən hətta elmi proqram təminatı ittiham olunur), digər tərəfdən, onun fenomenoloji xüsusiyyəti var. xarakter (məsələn, siçanlar müxtəlif cinsdən olan alimlərlə fərqli davranmağa meyllidirlər (1 və 2)).

Lakin, hər şey hamar və ilə deyil daha çoxfizika və mühəndislik, kimya, ekologiya kimi təbiət elmləri. Görünür ki, bu fənlər ən çox idarə olunan şəraitdə aparılan "tamamilə" təkrarlana bilən təcrübələrə əsaslanır, təəssüf ki, heyrətamiz - sözün hər mənasında - sorğunun nəticəsi: 70%-ə qədərtədqiqatçılar qarşılaşdılar Yenidən istehsal olunmayaneksperimentlər və yalnız digər elm adamları qrupları tərəfindən əldə edilən nəticələr, AMMA və çap olunmuş elmi işlərin müəllifləri/müəllifləri tərəfindən!

Hər qumbara öz bataqlığını tərifləyirmi?

Respondentlərin 52%-i elmdə təkrar istehsal böhranını qeyd etsə də, 31%-dən azı dərc edilmiş məlumatların kökündən yanlış olduğunu hesab edir və əksəriyyət hələ də dərc edilmiş işə etibar etdiyini bildirib.

Əlbəttə ki, siz yalnız bu sorğu əsasında bütün elmi linç etməməlisiniz: respondentlərin yarısı hələ də bu və ya digər şəkildə bioloji fənlərlə əlaqəli alimlər idi. Müəlliflərin qeyd etdiyi kimi, fizika və kimyada təkrarlanma və əldə edilən nəticələrə inam səviyyəsi daha yüksəkdir (aşağıdakı qrafikə baxın), lakin yenə də 100% deyil. Amma tibbdə işlər qalanlarla müqayisədə çox pisdir.

Ağlıma bir zarafat gəlir:

İngiltərənin Bristol Universitetində bioloji psixoloq olan Markus Munafo elmi məlumatların təkrarlanabilirliyinə uzun müddətdir maraq göstərir. O, tələbəlik günlərini xatırlayaraq deyir:

Bir dəfə ədəbiyyatdan mənə sadə görünən bir eksperimenti təkrarlamağa çalışdım, ancaq bunu edə bilmədim. Özümə inam böhranı yaşadım, amma sonra başa düşdüm ki, mənim təcrübəm o qədər də nadir deyil.

Enlem və uzunluq dərinliyi problemi

Təsəvvür edin ki, siz alimsiniz. Maraqlı bir məqalə ilə qarşılaşırsınız, lakin nəticələr / təcrübələr laboratoriyada təkrarlana bilməz. Bu barədə orijinal məqalənin müəlliflərinə yazmaq, məsləhət istəmək və aydınlaşdırıcı suallar vermək məntiqlidir. Sorğunun nəticələrinə görə, 20%-dən azelmi karyeralarında bunu heç vaxt ediblər!

Tədqiqat müəllifləri qeyd edirlər ki, ola bilsin ki, bu cür təmas və söhbətlər alimlərin özləri üçün çox çətin olur, çünki müəyyən məsələlərdə onların səriştəsizliyini və uyğunsuzluğunu üzə çıxarır və ya hazırkı layihənin həddən artıq çox detallarını ortaya qoyur.

Üstəlik, alimlərin mütləq azlığı redaktorların və rəyçilərin müqaviməti ilə üzləşərkən təkrarolunmaz nəticələrin təkzibini dərc etməyə cəhd etdilər. tələb etdiorijinal tədqiqatla müqayisənin aşağı salınması. Təəccüblüdür ki, elmi nəticələrin təkrarlanmaması barədə məlumat vermək şansı təxminən 50% təşkil edir.

Bəlkə, onda heç olmasa laboratoriya daxilində təkrarlanma testi keçirməyə dəyər? Ən acınacaqlısı odur ki, respondentlərin üçdə biri hətta HEÇ VAXTvə təkrarlanabilirlik üçün məlumatların yoxlanılması üsullarının yaradılması haqqında düşünmədilər. yalnız 40%belə üsullardan mütəmadi olaraq istifadə etdiklərini bildirdilər.

Başqa bir misal, adını açıqlamaq istəməyən Böyük Britaniyadan olan biokimyaçı deyir ki, onun laboratoriya layihəsi üçün işi təkrarlamaq, çoxaltmaq cəhdləri işə yeni heç nə vermədən və ya əlavə etmədən sadəcə olaraq vaxt və material xərclərini ikiqat artırır. Əlavə yoxlamalar yalnız innovativ layihələr və qeyri-adi nəticələr üçün aparılır.

Və təbii ki, əcnəbi həmkarlarına işgəncə verməyə başlayan əbədi rus sualları: günahkar kimdir və nə etməli?

Kim günahkardır?

İşin müəllifləri nəticələrin təkrarlanmasının üç əsas problemini müəyyən etdilər:

• İşin vaxtında çap olunması üçün rəhbərlərdən təzyiq
• Seçilmiş hesabat (görünür, bu, bütün mənzərəni "xorlayan" bəzi məlumatların sıxışdırılması deməkdir)
• Məlumatların qeyri-kafi təhlili (statistik məlumatlar daxil olmaqla)

Nə etməli?

Sorğuda iştirak edən 1500 nəfərdən 1000-dən çox mütəxəssis məlumatların toplanması və emalı zamanı statistik göstəricilərin təkmilləşdirilməsi, müdirlərin nəzarətinin keyfiyyətinin yüksəldilməsi və təcrübələrin daha ciddi planlaşdırılmasının lehinə çıxış edib.

Nəticə və bəzi şəxsi təcrübə

Birincisi, hətta mənim üçün, bir alim olaraq, nəticələr heyrətamizdir, baxmayaraq ki, müəyyən dərəcədə nəticələrin təkrarlanmamasına alışmışam. Bu, xüsusilə çinlilərin və hindlilərin Amerika/Avropa professorları timsalında üçüncü tərəf “audit”i olmadan yerinə yetirdikləri əsərlərdə aydın görünür. Nə yaxşı ki, problem tanındı və onun həlli (lər) haqqında fikirləşdi. Çoxları öz işini vicdanla yerinə yetirsə də, son qalmaqalla bağlı rus elmi haqqında nəzakətlə susacağam.

İkincisi, məqalə tədqiqat nəticələrinin təkrarlanmaması probleminin yaranmasında və inkişafında elmi metriklərin və resenziyalı elmi jurnalların roluna məhəl qoymur (daha doğrusu, nəzərə almır). Nəşrlərin sürətinə və tezliyinə (oxumaq, sitat indekslərində artım) nail olmaq üçün keyfiyyət kəskin şəkildə aşağı düşür və nəticələrin əlavə yoxlanılması üçün vaxt yoxdur.

Necə deyərlər, bütün personajlar uydurmadır, lakin real hadisələrə əsaslanır. Nə isə, bir tələbənin məqaləni nəzərdən keçirmək şansı var idi, çünki hər professorun məqalələri düşünərək oxumağa vaxtı və gücü çatmır, ona görə də 2-3-4 tələbənin və həkimin rəyi toplanaraq rəy formalaşdırılır. Bir baxış yazılmışdır, məqalədə təsvir olunan üsula uyğun olaraq nəticələrin təkrarolunmazlığını göstərmişdir. Bu, professora açıq şəkildə nümayiş etdirildi. Ancaq "həmkarları" ilə münasibətləri korlamamaq üçün - axırda hər şeyə nail olurlar - baxış "düzəldildi". Və 2-3 belə məqalə dərc olunur.

Bu, pis bir dairəyə çevrilir. Alim məqaləni jurnalın redaktoruna göndərir və orada göstərir ki, “ arzu olunan"Və, əsasən," arzuolunmaz »Rəyçilər, yəni əslində yalnız müəlliflər komandasına müsbət münasibət bəsləyənləri buraxırlar. Onlar işi nəzərdən keçirirlər, lakin "şərhlərdə yazıya" bilməzlər və iki pislikdən daha azını seçməyə çalışa bilmirlər - burada cavablandırılması lazım olan sualların siyahısı var, sonra məqaləni dərc edəcəyik.

Təbiət redaktorunun cəmi bir ay əvvəl danışdığı başqa bir nümunə Grazelin günəş panelləridir. Elmi ictimaiyyətdə bu mövzuya olan böyük maraq səbəbindən (axı onlar hələ də Təbiətdə məqalə istəyirlər!), Redaktorlar çoxlu parametrləri göstərməli, avadanlıqların kalibrlənməsini, sertifikatlarını təqdim etməli olduqları xüsusi bir anket yaratmalı oldular. səmərəlilik panellərinin ölçülməsi metodunun bəzi ümumi prinsiplərə və standartlara uyğun olduğunu təsdiqləmək üçün s.

VƏ, üçüncü, bir daha hər şeyi və hər kəsi fəth edən möcüzə peyvəndi haqqında eşitdiyiniz zaman, yubkada Jobs, yeni batareyalar və ya GMO-ların təhlükələri / faydaları və ya smartfonların radiasiyası haqqında yeni bir hekayə, xüsusən də jurnalistikadan sarı yazıçılar tərəfindən təbliğ edilmişdirsə, sonra anlayışla davranın və nəticə çıxarmağa tələsməyin. Nəticələrin digər alimlər qrupları tərəfindən təsdiqini, massiv və məlumat nümunələrinin yığılmasını gözləyin.

PS:Məqalə tələsik tərcümə edilmiş və yazılmışdır, qeyd olunan bütün səhvlər və qeyri-dəqiqliklər barədə LAN-da yazın.