Wysyłasz manuskrypt i zaczyna się cisza. Miesiące pracy, setki poprawek i jeden klik: „Submit”. A potem czekanie na werdykt od enigmatycznych postaci – Recenzenta 1, Recenzenta 2… To jeden z najbardziej stresujących momentów w życiu naukowca. Ale co tak naprawdę dzieje się po drugiej stronie? Proces recenzji (peer review) to fundament nauki – system kontroli jakości mający zapewnić, że publikowane prace są ważne, oryginalne i rzetelne (Sense about Science).
Mapa Umysłu Recenzenta: Co jest sprawdzane i jak?
Recenzent w każdej dziedzinie szuka odpowiedzi na te same fundamentalne pytania, ale używa do tego różnych narzędzi. Poniższa tabela pokazuje, jak te same zasady rzetelności są interpretowane w naukach medycznych/społecznych oraz w informatyce i machine learningu.
Aspekt Oceny / Pytanie Recenzenta | Realizacja (Nauki Medyczne / Społeczne) | Realizacja (Informatyka / Machine Learning) |
---|---|---|
0. Konflikt interesów i kompetencje | Czy mam powiązania z autorami/ośrodkiem? Czy znam się na tej metodologii i statystyce? | Czy mam powiązania z autorami/labem? Czy to moje podpole (algorytmika, architektura, teoria)? |
1. Oryginalność i znaczenie | Czy praca rozwiązuje ważny problem kliniczny/społeczny? Czy wnosi coś nowego względem istniejących badań/przeglądów? | Czy problem jest istotny (teoretycznie lub praktycznie)? Czy metoda jest nowa, czy tylko inkrementalna? Empirycznie: czy poprawia state-of-the-art w sposób istotny? |
2. Rygor metodologiczny (odtwarzalność) | Protokół i prerejestracja: czy badanie jest zarejestrowane (np. OSF), a protokół dostępny i przestrzegany? | Artefakty i kod: czy kod, dane i środowisko są dostępne (GitHub/Zenodo)? Czy jest README do uruchomienia eksperymentów? Czy spełniamy kryteria ACM Artifact Badging (Available/Evaluated/Results Validated)? (Odznaki dotyczą artefaktów i odtwarzalności, a nie oceny jakości naukowej samej pracy). ACM policy · SIGIR: nota |
3. Rygor metodologiczny (poprawność) | Standardy raportowania: czy zastosowano checklistę z EQUATOR Network — CONSORT 2025 dla RCT, PRISMA 2020 dla przeglądów, STROBE dla obserwacyjnych? | Warsztat techniczny: poprawność dowodów i definicji; uczciwe porównania (apples-to-apples), adekwatne metryki; ablation dla kluczowych komponentów. |
4. Wyniki i analiza | Statystyka: dobór testów, raportowanie niepewności (CI), korekta wielokrotności. | Wiarygodność eksperymentów: standardowe, publiczne zbiory; powtarzalność (różne seedy); testy istotności dla porównań modeli. |
5. Wnioski i interpretacja | Bez „overclaimingu”: wnioski proporcjonalne do danych; jawna sekcja ograniczeń. | Proporcjonalność: brak haseł typu „rozwiązujemy problem”, jeśli zysk to +0,5%; omówienie złożoności, skalowalności i ograniczeń. |
6. Etyka badań | Ochrona uczestników (ICMJE/COPE): zgoda komisji bioetycznej (IRB), świadoma zgoda, anonimizacja danych. ICMJE · COPE | Etyka danych i modeli: licencje, privacy, bias, potencjalne szkody/dual-use; jawność źródeł danych/modeli. |
Uproszczenie: w badaniach interdyscyplinarnych recenzent łączy oba podejścia.
Podróż przez Twój manuskrypt: trzy przebiegi recenzenta
Przebieg 1: Szybki triaż (15–30 min) – czy to warto czytać dalej?
- Pytanie: czy praca jest oryginalna i pasuje do zakresu venue?
- Logika: czy wnioski z grubsza wynikają z danych?
- Czerwone flagi:
- CS/ML: „nowy” algorytm = stara metoda pod inną nazwą; niestandardowy, zbyt łatwy zbiór.
- Medycyna: RCT bez zgody IRB lub bez kontroli.
- Uniwersalnie: wnioski w sprzeczności z wynikami.
Przebieg 2: Mikroskop (2–5 h) – czy mogę zaufać wynikom?
- Med/społ.: punkt-po-punkcie zgodność z CONSORT 2025/PRISMA/STROBE.
- CS/ML: przegląd repozytorium i artefaktów; fair porównania; poprawność twierdzeń.
Przebieg 3: Narracja (1–2 h) – czy historia ma sens?
- Czy obietnice ze wstępu są dowiezione?
- Czy sekcja Limitations jest uczciwa?
- Czy ryciny/tabele są czytelne i opisane?
Myśląc jak recenzent: checklista autokrytyki przed wysyłką
Przed kliknięciem „Submit” zrób własną, surową recenzję – punkt po punkcie.
Ogólny obraz i wkład
- Problem: czy jasno definiuję, co i dlaczego rozwiązuję?
- Oryginalność: gdzie w tekście pokazuję nowość względem stanu wiedzy?
- Wpływ: czy ktoś będzie cytował to za 2–3 lata?
Sekcja po sekcji
Tytuł: adekwatny do zawartości (nie za szeroki/nie za wąski)?
Abstrakt:
- CO? pytanie/cel; DLACZEGO? znaczenie; JAK? metoda; WYNIKI: liczby; NOVELTY: jedno zdanie o nowości.
Wprowadzenie: kontekst → luka → cel → nowość → rozwiązanie; na końcu klarowne contributions.
Metodyka/Opis metody:
- Odtwarzalność: czy ktoś z dziedziny odtworzy eksperyment?
- Uzasadnienie wyborów: dlaczego te metody?
- Szczegóły: (CS/ML) hiperparametry, architektura, zbiory, metryki; (Med/Soc) kryteria włączenia/wyłączenia, randomizacja, wielkość próby.
- Transparentność: dane i kod dostępne? Jeśli nie — solidne uzasadnienie.
Wyniki i dyskusja: czytelne ryciny; porównania do silnych baz; wnioski poparte danymi; osobny akapit o ograniczeniach.
Wnioski: odpowiedź na pytanie badawcze + szersza perspektywa i kierunki dalszych badań.
Ramka: standardy i transparentność peer review
Warto linkować czytelnikom do ANSI/NISO Z39.106-2023 – standardu terminologii peer review (single/double anonymized, jawność opinii itd.). NISO
Sztuczna inteligencja w służbie recenzji: asystent czy uzurpator?
Duże modele językowe (LLM) wkroczyły do naszego warsztatu. Przeglądy (np. Zhuang et al., 2025) opisują potencjał i ryzyka. Poniżej — bezpieczny i zgodny z politykami minimalny zestaw praktyk.
Co realnie pomaga?
- Szybki triaż i streszczenia: wstępne mapowanie treści, kontrola zakresu venue.
- Checklisty formalne: zgodność z typem badania (np. RCT → CONSORT 2025).
- „Sanity-check” spójności: proste niespójności między opisem a tabelami/rycinami.
Gdzie są granice?
- Brak głębokiej ekspertyzy: modele potrafią przeoczyć istotę wkładu lub głębokie błędy.
- Halucynacje i cytowania-widma: ryzyko zmyślonych źródeł/wniosków.
- Bias i inflacja ocen: badania pokazują tendencję do zawyżania rekomendacji.
Brzydka prawda: etyka, poufność i polityki wydawców
Poufność manuskryptu to świętość. Przesyłanie nieopublikowanej pracy do publicznego LLM narusza poufność recenzji.
- Elsevier: recenzenci nie powinni wgrywać manuskryptów do narzędzi genAI ani używać genAI do merytorycznej oceny. Policy
- Springer Nature: prosi recenzentów, by nie wgrywali manuskryptów do genAI; poufność ma pierwszeństwo. Policy
- IEEE: zakaz używania AI do tworzenia/draftowania recenzji. Reviewer Guidelines
- ACM: dozwolona wyłącznie pomoc językowa przy własnym tekście recenzji i tylko bez naruszania poufności (preferowane rozwiązania „enterprise” gwarantujące prywatność). ACM Peer Review FAQ
- ACL/ARR: nie wolno wysyłać treści poufnych (w praktyce: nie używaj popularnych LLM do materiałów recenzyjnych). ARR Reviewer Guidelines
Wyjątek: narzędzia wydawców. Część wydawców rozwija własne, zamknięte narzędzia wspierające integralność i kompletność (np. Frontiers – AIRA). Służą one do pre-screeningu i kontroli technicznej (plagiat, ryciny, język), a ostateczna ocena pozostaje ludzka. Zawsze sprawdź bieżącą politykę danego czasopisma/konferencji.
Minimalna zasada bezpieczeństwa: nigdy nie wgrywaj cudzego manuskryptu do publicznego LLM. Jeśli potrzebujesz wsparcia językowego przy własnym tekście recenzji, używaj tylko rozwiązań gwarantujących poufność lub narzędzi wbudowanych przez wydawcę.
Sztuka odpowiadania na recenzję
- Profesjonalizm: podziękuj recenzentom i redaktorowi.
- Lista „punkt-po-punkcie”: odpowiedz na każdy komentarz osobno.
- Wskaż zmiany: cytuj dokładne miejsca w manuskrypcie (strona/linia/sekcja).
- Gdy się nie zgadzasz: kulturalnie, z dowodami.
Bibliografia i dalsze lektury
Standardy i wytyczne
- CONSORT 2025 (RCT) – aktualizacja i lista publikacji równoległych: BMJ/JAMA/Lancet/Nat Med/PLoS Med.
- PRISMA 2020 (przeglądy systematyczne) · STROBE (badania obserwacyjne)
- COPE Core Practices · ICMJE Recommendations
- ANSI/NISO Z39.106-2023 — standard terminologii peer review
Odtwarzalność i artefakty
Polityki AI (wybrane)
- Elsevier – AI a peer review · Springer Nature – poufność i AI · IEEE – zakaz użycia AI do pisania recenzji
- ACM – FAQ dot. AI w recenzjach · ACL/ARR – poufność a narzędzia stron trzecich
- Frontiers AIRA – zamknięte wsparcie integralności (pre-screening)
Wprowadzenia i przewodniki
- Peer Review: The Nuts and Bolts (Sense about Science)
- Anatomia procesu badawczego: praktyczny framework dla rzetelnej nauki (Twój poprzedni wpis)
LLM w recenzji – przeglądy i studia
- Zhuang, Z. i in. (2025). Large language models for automated scholarly paper review: A survey, Information Fusion.