Date, corpus și curățare

Despre acest curs

• Date, corpus și curățare
• Surse publice: YouTube
• YouTube Data API v3
• Metadate și reproductibilitate
• Curățare și standardizare în JSONL
• Sentiment vs. poziționare față de țintă
• Bule discursive ca vocabular pentru C4
• Tema 1: explorare corpus + Prompt v1

Materiale

Flux de date

Surse discursive YouTube

Sursele sunt puncte de pornire pentru zone discursive, nu etichete finale. Un comentariu colectat de la un canal suveranist nu este automat „suveranist”, iar încadrarea se face ulterior prin adnotare.

Obiective de învățare

• Înțelegi de ce un agent are nevoie de corpus, nu doar de model
• Poți crea și folosi o cheie YouTube Data API v3 în siguranță
• Poți colecta un eșantion mic de comentarii YouTube din surse publice
• Poți salva date brute în data/raw/ fără să le modifici
• Poți curăța textul și păstra text_raw pentru verificare
• Poți lucra cu un corpus mare oferit în data/provided/
• Poți salva corpusul curățat în data/cleaned/
• Poți documenta datele în README.md, secțiunea Data Gathering
• Poți separa sentimentul general de poziționarea față de o țintă
• Poți rula Prompt v1 pe comentarii politice și verifica manual rezultatele în fișierul CSV de review

Schema minimă de corpus

{
  "id": "yt_<video_id>_<comment_id>",
  "source_platform": "youtube",
  "source_channel": "<handle>",
  "text": "...",
  "text_raw": "...",
  "bubble_label": null,
  "bubble_self_identified": false,
  "topic": null,
  "rhetoric_type": null,
  "video_id": "...",
  "video_title": "...",
  "video_date": "YYYY-MM-DD",
  "comment_date": "YYYY-MM-DD",
  "likes": 0,
  "lang": "ro",
  "collected_at": "YYYY-MM-DD"
}

• text = text curățat pentru analiză
• text_raw = text original pentru verificare
• source_channel, video_id, video_title = trasabilitate
• video_date, comment_date, collected_at = context temporal și reproductibilitate
• bubble_label, topic, rhetoric_type = câmpuri goale sau incomplete, pregătite pentru C4

Ce predai după C3

Individual

• 01 notebooks/student_XX/c3_collect_clean.ipynb — colectare mică + curățare rapidă
• 02 data/raw/student_XX_youtube_raw.jsonl — eșantion brut individual
• 03 data/cleaned/student_XX_youtube_clean.jsonl — eșantion curățat individual
• 04 notebooks/student_XX/Tema_1_corpus_exploration_prompt.ipynb — Tema 1: explorare + Prompt v1
• 05 outputs/student_XX_prompt_v1_review.csv — verificare manuală a promptului

Echipă

• 06 scripts/collect_youtube.py — script final de colectare YouTube
• 07 scripts/clean_youtube.py — script comun de curățare
• 08 data/provided/corpus_youtube_large_raw.jsonl — corpus mare oferit de instructor
• 09 data/cleaned/corpus_youtube_large_clean.jsonl — corpus mare curățat
• 10 README.md — secțiunea Data Gathering completată

Finalizare

• 11 comentariu DONE în GitHub Issue pentru taskurile relevante

GitHub Issues / Workflow

Issue-uri individuale

Issue-uri de echipă

Convenție

• issue-urile individuale încep cu student_XX
• issue-urile de echipă încep cu C3
• toate folosesc milestone-ul C3 - Data and corpus

Metoda GitHub / API

Etică

Bule discursive

Prompt exploratoriu v1

Ești analist de discurs politic.
Citește comentariul și identifică:
1. target: cine sau ce este discutat în principal
2. stance: poziția față de target
3. sentiment: valența generală
4. tone: tonul dominant
5. topic: tema principală
6. interpretation_problem: none / sarcasm / multiple_targets / unclear_text / other
7. reason: justificare scurtă
Returnează JSON valid.

Comentariu:
<<< {comment_text} >>>

Output așteptat:
{
  "target": "...",
  "stance": "support|attack|neutral|ambiguous",
  "sentiment": "positive|negative|neutral|mixed",
  "tone": "...",
  "topic": "...",
  "interpretation_problem": "...",
  "reason": "..."
}

Promptul v1 nu produce etichete finale. Este un test didactic: vedem unde modelul confundă sentimentul cu poziționarea față de țintă, unde apar ținte multiple și ce trebuie definit mai clar în C4.

Resurse