Archiwa tagu: STDP

Biologiczne sieci neuronowe w przetwarzaniu języka

Dodaj komentarz

Jak to możliwe, że rozumiemy znaczenie słów niemal natychmiast – i co ma z tym wspólnego sztuczna inteligencja? W tym odcinku „Naukowego dziennika” zaglądamy do mózgu (dosłownie: na poziomie pojedynczych neuronów), a potem przenosimy się do świata algorytmów inspirowanych biologią: spiking neural networks.

O czym jest rozmowa?

Aleksandra „Alex” Biel i dr Julian Hart łączą neurobiologię i AI: od badań pokazujących, jak pojedyncze komórki nerwowe kodują kategorie znaczeniowe podczas rozumienia języka, po modele impulsowe uczące się reprezentacji tekstu i odkrywające tematy w dokumentach. To odcinek o tym, jak „biologia spotyka się z obliczeniami” — i co z tego wynika dla przyszłości przetwarzania języka.

W tym odcinku usłyszysz m.in.:

  • jak neurony w korze mózgu mogą reagować selektywnie na kategorie semantyczne (np. jedzenie, natura, czynności),
  • dlaczego kontekst zmienia interpretację słów i jak mózg radzi sobie z niejednoznacznością,
  • czym są spiking neural networks (SNN) i czym różnią się od klasycznych sieci neuronowych,
  • jak zamienia się tekst na „impulsy” (spike trains) i na czym polega uczenie typu STDP,
  • jak działają spiking topic models (STM) i dlaczego mogą dobrze radzić sobie z krótkimi tekstami,
  • jakie są praktyczne wyzwania: skalowanie, ekosystem narzędzi i porównanie z transformerami (np. BERT).

Artykuły źródłowe

  • Jamali, M., Grannan, B., Cai, J. et al. Semantic encoding during language comprehension at single-cell resolution, Nature (2024). DOI
  • Marcin Białas, Marcin Mirończuk, Jacek Mańdziuk. Leveraging spiking neural networks for topic modeling, Neural Networks (2024). DOI
  • Marcin Białas, Marcin Michał Mirończuk, Jacek Mańdziuk. Biologically Plausible Learning of Text Representation with Spiking Neural Networks, PPSN (2020). DOI

Posłuchaj odcinka

Odcinek na Jellypod

Odcinek na Spotify

Leveraging spiking neural networks for topic modeling

Dodaj komentarz

This article investigates the application of spiking neural networks (SNNs) to the problem of topic modeling (TM): the identification of significant groups of words that represent human-understandable topics in large sets of documents. Our research is based on the hypothesis that an SNN that implements the Hebbian learning paradigm is capable of becoming specialized in the detection of statistically significant word patterns in the presence of adequately tailored sequential input. To support this hypothesis, we propose a novel spiking topic model (STM) that transforms text into a sequence of spikes and uses that sequence to train single-layer SNNs. In STM, each SNN neuron represents one topic, and each of the neuron’s weights corresponds to one word. STM synaptic connections are modified according to spike-timing-dependent plasticity; after training, the neurons’ strongest weights are interpreted as the words that represent topics. We compare the performance of STM with four other TM methods Latent Dirichlet Allocation (LDA), Biterm Topic Model (BTM), Embedding Topic Model (ETM) and BERTopic on three datasets: 20Newsgroups, BBC news, and AG news. The results demonstrate that STM can discover high-quality topics and successfully compete with comparative classical methods. This sheds new light on the possibility of the adaptation of SNN models in unsupervised natural language processing.

Czytelnik może znaleźć więcej informacji w wersji angielskiej wpisu lub bezpośrednio w artykule.

Biologically Plausible Learning of Text Representation with Spiking Neural Networks

Dodaj komentarz

This study proposes a novel biologically plausible mechanism for generating low-dimensional spike-based text representation. First, we demonstrate how to transform documents into series of spikes (spike trains) which are subsequently used as input in the training process of a spiking neural network (SNN). The network is composed of biologically plausible elements, and trained according to the unsupervised Hebbian learning rule, Spike-Timing-Dependent Plasticity (STDP). After training, the SNN can be used to generate low-dimensional spike-based text representation suitable for text/document classification. Empirical results demonstrate that the generated text representation may be effectively used in text classification leading to an accuracy of 80.19% on the bydate version of the 20 newsgroups data set, which is a leading result amongst approaches that rely on low-dimensional text representations.

Czytelnik może znaleźć więcej informacji w wersji angielskiej wpisu lub bezpośrednio w artykule.