Archiwa tagu: Topic modeling

Biologiczne sieci neuronowe w przetwarzaniu języka

Dodaj komentarz

Jak to możliwe, że rozumiemy znaczenie słów niemal natychmiast – i co ma z tym wspólnego sztuczna inteligencja? W tym odcinku „Naukowego dziennika” zaglądamy do mózgu (dosłownie: na poziomie pojedynczych neuronów), a potem przenosimy się do świata algorytmów inspirowanych biologią: spiking neural networks.

O czym jest rozmowa?

Aleksandra „Alex” Biel i dr Julian Hart łączą neurobiologię i AI: od badań pokazujących, jak pojedyncze komórki nerwowe kodują kategorie znaczeniowe podczas rozumienia języka, po modele impulsowe uczące się reprezentacji tekstu i odkrywające tematy w dokumentach. To odcinek o tym, jak „biologia spotyka się z obliczeniami” — i co z tego wynika dla przyszłości przetwarzania języka.

W tym odcinku usłyszysz m.in.:

  • jak neurony w korze mózgu mogą reagować selektywnie na kategorie semantyczne (np. jedzenie, natura, czynności),
  • dlaczego kontekst zmienia interpretację słów i jak mózg radzi sobie z niejednoznacznością,
  • czym są spiking neural networks (SNN) i czym różnią się od klasycznych sieci neuronowych,
  • jak zamienia się tekst na „impulsy” (spike trains) i na czym polega uczenie typu STDP,
  • jak działają spiking topic models (STM) i dlaczego mogą dobrze radzić sobie z krótkimi tekstami,
  • jakie są praktyczne wyzwania: skalowanie, ekosystem narzędzi i porównanie z transformerami (np. BERT).

Artykuły źródłowe

  • Jamali, M., Grannan, B., Cai, J. et al. Semantic encoding during language comprehension at single-cell resolution, Nature (2024). DOI
  • Marcin Białas, Marcin Mirończuk, Jacek Mańdziuk. Leveraging spiking neural networks for topic modeling, Neural Networks (2024). DOI
  • Marcin Białas, Marcin Michał Mirończuk, Jacek Mańdziuk. Biologically Plausible Learning of Text Representation with Spiking Neural Networks, PPSN (2020). DOI

Posłuchaj odcinka

Odcinek na Jellypod

Odcinek na Spotify

Leveraging spiking neural networks for topic modeling

Dodaj komentarz

This article investigates the application of spiking neural networks (SNNs) to the problem of topic modeling (TM): the identification of significant groups of words that represent human-understandable topics in large sets of documents. Our research is based on the hypothesis that an SNN that implements the Hebbian learning paradigm is capable of becoming specialized in the detection of statistically significant word patterns in the presence of adequately tailored sequential input. To support this hypothesis, we propose a novel spiking topic model (STM) that transforms text into a sequence of spikes and uses that sequence to train single-layer SNNs. In STM, each SNN neuron represents one topic, and each of the neuron’s weights corresponds to one word. STM synaptic connections are modified according to spike-timing-dependent plasticity; after training, the neurons’ strongest weights are interpreted as the words that represent topics. We compare the performance of STM with four other TM methods Latent Dirichlet Allocation (LDA), Biterm Topic Model (BTM), Embedding Topic Model (ETM) and BERTopic on three datasets: 20Newsgroups, BBC news, and AG news. The results demonstrate that STM can discover high-quality topics and successfully compete with comparative classical methods. This sheds new light on the possibility of the adaptation of SNN models in unsupervised natural language processing.

Czytelnik może znaleźć więcej informacji w wersji angielskiej wpisu lub bezpośrednio w artykule.