Jak to możliwe, że rozumiemy znaczenie słów niemal natychmiast – i co ma z tym wspólnego sztuczna inteligencja? W tym odcinku „Naukowego dziennika” zaglądamy do mózgu (dosłownie: na poziomie pojedynczych neuronów), a potem przenosimy się do świata algorytmów inspirowanych biologią: spiking neural networks.
O czym jest rozmowa?
Aleksandra „Alex” Biel i dr Julian Hart łączą neurobiologię i AI: od badań pokazujących, jak pojedyncze komórki nerwowe kodują kategorie znaczeniowe podczas rozumienia języka, po modele impulsowe uczące się reprezentacji tekstu i odkrywające tematy w dokumentach. To odcinek o tym, jak „biologia spotyka się z obliczeniami” — i co z tego wynika dla przyszłości przetwarzania języka.
W tym odcinku usłyszysz m.in.:
- jak neurony w korze mózgu mogą reagować selektywnie na kategorie semantyczne (np. jedzenie, natura, czynności),
- dlaczego kontekst zmienia interpretację słów i jak mózg radzi sobie z niejednoznacznością,
- czym są spiking neural networks (SNN) i czym różnią się od klasycznych sieci neuronowych,
- jak zamienia się tekst na „impulsy” (spike trains) i na czym polega uczenie typu STDP,
- jak działają spiking topic models (STM) i dlaczego mogą dobrze radzić sobie z krótkimi tekstami,
- jakie są praktyczne wyzwania: skalowanie, ekosystem narzędzi i porównanie z transformerami (np. BERT).
Artykuły źródłowe
- Jamali, M., Grannan, B., Cai, J. et al. Semantic encoding during language comprehension at single-cell resolution, Nature (2024). DOI
- Marcin Białas, Marcin Mirończuk, Jacek Mańdziuk. Leveraging spiking neural networks for topic modeling, Neural Networks (2024). DOI
- Marcin Białas, Marcin Michał Mirończuk, Jacek Mańdziuk. Biologically Plausible Learning of Text Representation with Spiking Neural Networks, PPSN (2020). DOI