Statystyczne modelowanie zawartości dokumentów tekstowych
Paweł Lula
2018, s. 230, ISBN 978-83-7252-755-4
Cena: 42 zł
W monografii przedstawiono zagadnienia dotyczące opisu treści dokumentów tekstowych za pomocą modeli statystycznych. Modele te znajdują zastosowanie we wszystkich warstwach języka – od warstwy morfologicznej, przez warstwę frazeologiczną i syntaktyczną, aż po warstwę semantyczną. Są przydatne do rozwiązywania różnych typów zadań, przy czym za najważniejsze zadanie należy uznać wyznaczanie podobieństwa pomiędzy wyrazami, zdaniami czy całymi dokumentami. Odpowiednio skonstruowany model może z powodzeniem opisywać zawartość pojedynczego dokumentu lub ich zbioru określanego mianem korpusu. Pozwala również na ekstrakcję, porównywanie czy klasyfikowanie informacji pochodzących z dokumentów. Może stanowić również narzędzie służące do zmiany jej formy, czego przykładem może być automatyczna identyfikacja słów kluczowych lub wizualizacja.
W pracy zaprezentowano wyniki przeprowadzonych prac obliczeniowych, które w każdym przypadku dotyczyły analizy dokumentów polskojęzycznych i zostały zrealizowane przy użyciu narzędzi dostępnych w języku R. Pozwoliło to na ocenę tych produktów pod względem ich przydatności do analizy tekstów przygotowanych w rodzimym języku. Zaprezentowane wyniki badań jednoznacznie potwierdzają przydatność zaprezentowanych metod do analizy dokumentów przygotowanych w języku polskim.
Treść:
- Język i jego badanie
- Statystyczne modele opisu zawartości dokumentów i ich taksonomia
- Analiza lingwistyczna tekstu
- Modele algebraiczne
- Modele probabilistyczne
- Metody wykorzystujące wiedzę dziedzinową
- Opis zawartości dokumentów za pomocą słów i fraz kluczowych
- Analiza opinii konsumenckich