Przejdź do treści

COVID-19 - źródło gorącej dyskusji

Autor: VoicelabVoiceLab

Chmura polskich hashtagów o COVID-19, m.in. plandemia, covid19, lockdown, koronawiruswpolsce i strajkkobiet, na czarnym tle

Motywacja

Bez wątpienia COVID-19 wywarł ogromny wpływ na dzisiejszy świat. Zmienił niemal wszystkie aspekty codziennego życia i stał się nieodłączną częścią debaty publicznej. Z powodu licznych obostrzeń związanych z COVID-19 większość rozmów przeniosła się do mediów społecznościowych, zwłaszcza na Twittera, jedną z największych platform społecznościowych na świecie. Ponieważ publikowane tam opinie silnie wpływają na stosunek społeczeństwa do COVID-19, ważne jest zrozumienie, jak użytkownicy Twittera postrzegają globalną pandemię. Niestety liczba tweetów publikowanych w internecie jest ogromna, więc analiza wykonywana przez ludzi jest niemożliwa. Na szczęście w tym celu można wykorzystać jedno z podstawowych zadań przetwarzania języka naturalnego - analizę sentymentu - która klasyfikuje dane tekstowe np. do 3 kategorii (negatywny, neutralny, pozytywny).

Dziś chcemy podzielić się kilkoma kluczowymi wnioskami z tego, jak przeprowadziliśmy taką analizę sentymentu na pobranych polskich tweetach dotyczących COVID-19.

Scraping Twittera

Na początku musieliśmy pobrać (zescrapować) z Twittera odpowiednie tweety.

Ponieważ szczególnie interesowała nas analiza sytuacji pandemicznej w Polsce, pobraliśmy tweety, które:

  • zostały napisane po polsku,
  • zostały opublikowane od początku pandemii (marzec 2020) do początku wakacji (lipiec 2021),
  • zawierają co najmniej jedno słowo z empirycznie utworzonej listy słów kluczowych związanych z COVID-19 (takich jak „covid” czy „szczepienie” itp.)

Dzięki takiemu podejściu udało nam się pobrać ponad 2 miliony tweetów wraz z ich treścią i różnymi metadanymi, takimi jak:

  • liczba polubień danego tweeta,
  • liczba odpowiedzi pod danym tweetem,
  • liczba udostępnień danego tweeta itp.

Treningowy zbiór danych

Do wytrenowania modelu potrzebowaliśmy jednak również danych z wcześniej oznaczonym sentymentem (negatywny, neutralny, pozytywny).

Niestety obecnie nie istnieje publicznie dostępny zbiór danych zawierający polskie tweety o COVID-19. Dlatego musieliśmy rozszerzyć publicznie dostępny zbiór danych z Twittera z repozytorium CLARIN.SI o 100 samodzielnie oznaczonych tweetów o COVID-19, aby wytrenować model na próbce tekstów z tej dziedziny.

Wstępne przetwarzanie danych

Przed rozpoczęciem treningu przeprowadziliśmy wstępne przetwarzanie danych. W naszym przypadku było to szczególnie ważne, ponieważ dane z Twittera zawierają dużo „zaszumionego” tekstu, takiego jak zarezerwowane słowa Twittera (np. RT - dla retweetów) i oznaczenia użytkowników. Za pomocą biblioteki tweet-preprocessor usunęliśmy wszystkie te zbędne fragmenty tekstu, które mogłyby stać się szumem dla modelu.

Ponadto zastąpiliśmy linki specjalnym tokenem $URL$, tak aby model postrzegał każdy link jako ten sam. Było to szczególnie istotne, ponieważ w późniejszej fazie zauważyliśmy, że informacja o obecności linku jest cenna dla predykcji modelu.

Na koniec etapu wstępnego przetwarzania postanowiliśmy zastąpić emotikony ich rzeczywistym znaczeniem (np. „:)” zamieniliśmy na „happy”, a „:(” na „sad” itp.).

Architektura modelu

Schemat blokowy modelu: tokenizer BPE-Dropout z rozszerzonym słownikiem, herbert-base-cased, 2-warstwowy BiGRU i warstwa gęsta z softmaxem

Po oczyszczeniu danych mogliśmy zbudować model. Postanowiliśmy oprzeć go na HerBERT (polskiej wersji BERT), ponieważ osiąga on najlepsze obecnie wyniki w klasyfikacji tekstu. Dodaliśmy po nim dwie warstwy dwukierunkowej jednostki rekurencyjnej z bramkami (GRU) oraz warstwę w pełni połączoną.

Tokenizer BPE-Dropout z HerBERT (który przed przekazaniem danych wejściowych do HerBERT zamienia tekst na tokeny) rozszerzyliśmy o dodatkowe tokeny związane z COVID-19, tak aby rozpoznawał (i nie rozdzielał) podstawowych słów dotyczących koronawirusa.

Skuteczność modelu

MetrykaWynik
F1-Score70.51%
Accuracy72.14%
Precision70.60%
Recall70.44%

Model osiąga stosunkowo dobre wyniki, mimo że dane z Twittera są często uważane za niejednoznaczne pod względem samej etykiety sentymentu oraz za ironiczne.

Analiza danych

Za pomocą wytrenowanego modelu przewidzieliśmy sentyment wcześniej pobranych tweetów o COVID-19. Pozwoliło nam to przeprowadzić bardziej szczegółową analizę, opartą nie tylko na zebranych metadanych (np. polubieniach, odpowiedziach, retweetach), ale także na przewidzianym sentymencie.

Po zwizualizowaniu tygodniowej liczby tweetów dla każdego sentymentu w czasie widać kilka negatywnych „szczytów”

Wykres liniowy tygodniowej liczby tweetów według sentymentu, kwiecień 2020 - lipiec 2021; czerwona linia wybija się w siedmiu zakreślonych szczytach

W większości przypadków są one ściśle skorelowane z ważnymi wydarzeniami i decyzjami w Polsce, takimi jak:

  • przełożenie wyborów prezydenckich
  • kampania prezydencka
  • początek drugiej fali COVID-19
  • powrót twardego lockdownu
  • początek szczepień w Polsce
  • początek trzeciej fali COVID-19
  • dzienny rekord zakażeń (ponad 35 000 nowych przypadków)

Gdy postanowiliśmy dokładniej przyjrzeć się treści negatywnych tweetów, okazało się, że najczęściej używane negatywne wyrażenia to:

Bez wątpienia są one nieco przesunięte w stronę słów kluczowych, na podstawie których pobieraliśmy tweety, ale ogólnie dobrze oddają tematy poruszane w negatywnych tweetach, czyli politykę i popularne tagi używane w działaniach związanych z fake newsami.

Ponadto chcieliśmy sprawdzić, które konto jest najczęściej oznaczane w tych negatywnych tweetach. Okazało się, że:

  • najczęściej obwiniani są politycy za ich decyzje dotyczące pandemii
  • konta najpopularniejszych programów telewizyjnych w Polsce stanowią dużą część dyskusji o COVID-19

Na koniec postanowiliśmy przeanalizować konta na Twitterze, które swoimi negatywnymi tweetami najbardziej wpływają na społeczeństwo (czyli te, które zdobywają relatywnie najwięcej polubień, odpowiedzi i retweetów).

Nic dziwnego, że na szczycie listy znajdują się politycy polskiej opozycji.

Podsumowanie

Podsumowując, jak wszyscy widzimy, analiza sentymentu połączona z analizą danych może dać nam ciekawy wgląd w charakterystykę badanej społeczności. Przynosi wiele korzyści i pozwala skutecznie wykorzystywać ogromne ilości danych tekstowych.

Autorzy: Michał Laskowski, Filip Żarnecki

  • Nadchodzi Vera. Nowoczesny Agent AI!

    Vera to agent AI dla zespołów sprzedaży i obsługi klienta. Analizuje rozmowy telefoniczne, pocztę i kalendarz, przygotowuje podsumowania i oferty do zatwierdzenia oraz wskazuje sprawy, w których proces sprzedaży lub obsługi zgłoszenia wymaga interwencji.

  • Generowanie parafraz

    Używamy parafraz na co dzień, ale kto z nas zastanawiał się kiedyś nad ich zastosowaniem? Parafrazy są wykorzystywane m.in. w wyszukiwarkach: pomagają klientowi łatwiej znaleźć produkt i podsuwają inne sposoby wyszukiwania.