Archiwa tagu: BERT

Jak maszyna „skleja” informacje? Multimodalne i multiview uczenie w klasyfikacji dokumentów

Dodaj komentarz

Co tak naprawdę oznacza „multimodalny model” i dlaczego samo dorzucenie kolejnego źródła danych nie zawsze poprawia wynik? W tym odcinku „Naukowego dziennika” Aleksandra „Alex” Biel i dr Julian Hart rozkładają na czynniki pierwsze fuzję informacji w klasyfikacji dokumentów — od intuicji i metafor, po praktyczne pułapki, które często umykają w popularnych opisach „AI z wielu źródeł”.

O czym jest rozmowa?

Punktem wyjścia jest świeży przegląd badań dotyczący multimodalnego i multiview uczenia. Prowadzący wyjaśniają różnicę między łączeniem różnych typów danych (np. tekst + obraz) a łączeniem różnych reprezentacji tego samego tekstu (np. TF-IDF, embeddingi z BERT-a, struktura dokumentu, sieć cytowań). Po drodze pojawiają się konkretne zastosowania: moderacja treści, wyszukiwanie dokumentów w firmach, wykrywanie fake newsów, analiza dokumentów typu PDF/faktury/raporty.

W tym odcinku usłyszysz m.in.:

  • Multimodalność vs. multiview – czym się różni „tekst+obraz” od „kilku widoków tego samego tekstu”,
  • jak wygląda pipeline: surowy dokument → cechy → reprezentacje → wzorce,
  • trzy strategie łączenia informacji: wczesna fuzja, późna fuzja i hybrydowa,
  • kiedy „więcej kanałów” pomaga, a kiedy dodaje głównie szum (np. słabe OCR, nieprecyzyjne metadane),
  • jakie średnie zyski raportuje literatura (np. ~kilka p.p. w multimodalności) i dlaczego to nie jest gwarancja sukcesu,
  • dlaczego w pracach nadal zbyt rzadko widać testy statystyczne, rzetelne porównania i kwestie replikowalności.

Jeśli chcesz zrozumieć, co kryje się pod modnymi hasłami „multimodalne modele” i „łączenie informacji z wielu źródeł”, ten odcinek dobrze porządkuje temat: jasno pokazuje definicje, strategie fuzji i ograniczenia, o których rzadko mówi się w skrótach.

Posłuchaj odcinka

Odcinek na Jellypod

Odcinek na Spotify

Biologiczne sieci neuronowe w przetwarzaniu języka

Dodaj komentarz

Jak to możliwe, że rozumiemy znaczenie słów niemal natychmiast – i co ma z tym wspólnego sztuczna inteligencja? W tym odcinku „Naukowego dziennika” zaglądamy do mózgu (dosłownie: na poziomie pojedynczych neuronów), a potem przenosimy się do świata algorytmów inspirowanych biologią: spiking neural networks.

O czym jest rozmowa?

Aleksandra „Alex” Biel i dr Julian Hart łączą neurobiologię i AI: od badań pokazujących, jak pojedyncze komórki nerwowe kodują kategorie znaczeniowe podczas rozumienia języka, po modele impulsowe uczące się reprezentacji tekstu i odkrywające tematy w dokumentach. To odcinek o tym, jak „biologia spotyka się z obliczeniami” — i co z tego wynika dla przyszłości przetwarzania języka.

W tym odcinku usłyszysz m.in.:

  • jak neurony w korze mózgu mogą reagować selektywnie na kategorie semantyczne (np. jedzenie, natura, czynności),
  • dlaczego kontekst zmienia interpretację słów i jak mózg radzi sobie z niejednoznacznością,
  • czym są spiking neural networks (SNN) i czym różnią się od klasycznych sieci neuronowych,
  • jak zamienia się tekst na „impulsy” (spike trains) i na czym polega uczenie typu STDP,
  • jak działają spiking topic models (STM) i dlaczego mogą dobrze radzić sobie z krótkimi tekstami,
  • jakie są praktyczne wyzwania: skalowanie, ekosystem narzędzi i porównanie z transformerami (np. BERT).

Artykuły źródłowe

  • Jamali, M., Grannan, B., Cai, J. et al. Semantic encoding during language comprehension at single-cell resolution, Nature (2024). DOI
  • Marcin Białas, Marcin Mirończuk, Jacek Mańdziuk. Leveraging spiking neural networks for topic modeling, Neural Networks (2024). DOI
  • Marcin Białas, Marcin Michał Mirończuk, Jacek Mańdziuk. Biologically Plausible Learning of Text Representation with Spiking Neural Networks, PPSN (2020). DOI

Posłuchaj odcinka

Odcinek na Jellypod

Odcinek na Spotify

Wykrywanie podwójnej jakości w recenzjach produktów

Dodaj komentarz

Czy zdarzyło Ci się kupić „ten sam” produkt w dwóch krajach i poczuć, że to jednak nie to samo? Ten odcinek poświęcony jest zjawisku podwójnej jakości (dual quality) na rynkach UE oraz temu, jak modele NLP mogą pomagać wykrywać takie rozbieżności na podstawie opinii konsumentów.

O czym jest rozmowa?

Aleksandra „Alex” Biel i dr Julian Hart omawiają kontekst konsumencki i regulacyjny, a następnie przechodzą do strony badawczej: jak buduje się zbiory danych z recenzji, jak wygląda anotacja oraz jak modele językowe „czytają” niuanse, które mogą wskazywać na różnice w składzie lub jakości między rynkami.

W tym odcinku usłyszysz m.in.:

  • co dokładnie oznacza „podwójna jakość” i kiedy może wprowadzać konsumentów w błąd,
  • jak UE podchodzi do tego problemu od strony ochrony konsumentów,
  • jak badacze zbudowali i oznaczyli zestaw ok. 2 tysięcy recenzji, w tym takich związanych z dual quality,
  • dlaczego w praktyce model lokalny (np. dostrojony do języka polskiego) bywa lepszy od modeli wielojęzycznych,
  • jakie błędy najczęściej popełniają modele (m.in. mylenie dual quality z podróbkami lub „zwykłą” reklamacją jakości),
  • dokąd to zmierza: większe, wielojęzyczne dane i łączenie modeli lokalnych z globalnymi.

Artykuł źródłowy

Rafał Poświata, Marcin Michał Mirończuk, Sławomir Dadas, Małgorzata Grębowiec, Michał Perełkiewicz: Unveiling Dual Quality in Product Reviews: An NLP-Based Approach (arXiv). Przejdź do publikacji na arXiv

Posłuchaj odcinka

Odcinek na Jellypod

Odcinek na Spotify

Ewolucja i przyszłość klasyfikacji dokumentów: od 20 Newsgroups po transformery i GNN

Dodaj komentarz

W najnowszym odcinku „Naukowego dziennika” Aleksandra „Alex” Biel i dr Julian Hart biorą na warsztat temat, który na pierwszy rzut oka może brzmieć niszowo, ale w praktyce stoi za wieloma rzeczami, z których korzystamy codziennie: automatyczną klasyfikacją dokumentów tekstowych.

O czym jest rozmowa?

Punktem wyjścia jest pytanie: czym właściwie jest klasyfikacja dokumentów i dlaczego to jeden z kluczowych obszarów badań w uczeniu maszynowym. Prowadzący pokazują, jak ta dziedzina zmieniała się na przestrzeni lat (szczególnie w perspektywie 2003–2023), przechodząc od klasycznych metod statystycznych do współczesnych architektur deep learning.

Co usłyszysz w odcinku?

W rozmowie pojawiają się m.in.:

  • Standardowe zbiory danych i benchmarki (np. 20 Newsgroups) – dlaczego są ważne dla porównywania metod i co dają w praktyce.
  • Nowoczesne podejścia: transformery (np. rodzina BERT) oraz Graph Neural Networks (GNN) – co wnoszą do analizy tekstu
    i czemu potrafią „czytać” kontekst lepiej niż starsze podejścia.
  • Metryki jakości (precision/recall/F1, micro vs. macro) – krótko i przystępnie: co te liczby mówią, a czego nie mówią o modelu.
  • Zastosowania z życia: od organizowania literatury naukowej, przez moderację treści w mediach społecznościowych,
    po obszary, gdzie liczy się skala i szybkość decyzji.
  • Największy hamulec postępu: reprodukowalność badań – dlaczego „świetne wyniki” nie wystarczą, jeśli nie da się ich wiarygodnie powtórzyć,
    oraz jak pomagają w tym systematyczne przeglądy literatury i większa transparentność (kody, dane, procedury).

Materiał źródłowy

Odcinek nawiązuje do systematycznego przeglądu literatury obejmującego 102 prace z lat 2003–2023, który porządkuje metody klasyfikacji dokumentów i zwraca uwagę na standardy raportowania oraz problem powtarzalności wyników.

Posłuchaj odcinka

Odcinek na Jellypod

Odcinek na Spotify