C2 — Ecosistemul de modele

Despre acest curs

C2 introduce ecosistemul actual de modele LLM: model labs, provideri API, routere, modele open-weight și variante locale. Scopul nu este să alegem „cel mai bun model" în general, ci modelul potrivit pentru proiectul EchoChamber.

În această sesiune testăm Gemini și OpenRouter pe aceleași sarcini: rezumare în română, adnotare de comentarii politice, structured output / JSON și stabilitate la temperaturi diferite. La final, fiecare student propune un model, iar echipa decide configurația comună pentru proiect.

Unde găsim și cum accesăm modele LLM
Diferența dintre model, provider, endpoint și router
Proprietary vs. open-weight vs. local
SLM vs. LLM
Cum citim leaderboard-uri și benchmark-uri
De ce alegerea finală se face prin teste locale
Teste pe română, adnotare, JSON și stabilitate
Alegerea modelului principal, fallback-ului și temperaturii

Obiective de învățare

Înțelegi diferența dintre model, provider, endpoint, API key și base URL
Poți testa același prompt pe mai multe modele
Compari răspunsurile după criterii clare: română, instrucțiuni, adnotare, JSON, stabilitate și cost/quota
Înțelegi ce înseamnă structured output și de ce este important pentru pipeline
Poți justifica alegerea unui model pentru un proiect aplicat
Poți configura modelul principal și fallback-ul într-un fișier core/config.py
Pornești un app.py minim care trimite un prompt la model

Materiale

▤

Prezentare

Slide-uri PDF despre ecosistemul de modele, provideri, leaderboard-uri, criterii de testare și livrabilele C2.

▶ Deschide viewer ↓ PDF

⊞

Notebook C2

Notebook pentru testarea modelelor Gemini și OpenRouter pe aceleași prompturi: română, adnotare, structured output și stabilitate.

⊞ Vizualizează ↓ .ipynb

◈

GitHub Issues C2

Livrabilele C2 sunt urmărite prin milestone-ul C2 - Model ecosystem: notebook individual, config de echipă și app inițial. Issues sunt în repository-ul de echipă.

repo de echipă

Ce predai după C2

01 Notebook individual C2 în: notebooks/student_XX/C2_model_ecosystem.ipynb
02 Prompturi proprii și comparație Gemini / OpenRouter pe aceleași sarcini
03 Decizie individuală: model recomandat, fallback și temperatură
04 Config final de echipă în: core/config.py
05 App inițial în: app.py
06 Comentariu DONE în GitHub Issues pentru taskurile relevante

GitHub Issues / Workflow

C2 - Model ecosystem

C2.1 Notebook individual de testare a modelelor
C2.2 Configurație de echipă în core/config.py
C2.3 Creare app.py inițial

C2.1 este individual: fiecare student lucrează în propriul folder notebooks/student_XX/.

C2.2 și C2.3 sunt de echipă: un singur student modifică core/config.py, iar un singur student creează app.py, după ce echipa discută rezultatele.

Resurse

Model labs / hosted APIs

Platforme, routere, cloud

Open-weight / local

Free tiers, cost, comparații operaționale

Free LLM API Resources↗

Leaderboards / evaluare

Checklist practic

Am cheia Gemini în .env
Am cheia OpenRouter în .env
Rulez notebookul C2 din folderul meu notebooks/student_XX/
Testez Gemini 2.5 Flash Lite și OpenRouter Free
Modific prompturile primite la curs
Rulez testele: română, adnotare, structured output / JSON, stabilitate
Completez decizia individuală: model recomandat, fallback, temperatură
Discut rezultatul cu echipa
Echipa actualizează core/config.py
Echipa creează app.py
Fac git pull, git add, git commit, git push
Comentez DONE în GitHub Issue

Testare locală

Viewer-ul PDF.js poate să nu funcționeze corect deschis direct cu file://. Pentru testare locală folosește VS Code Live Server sau rulează py -m http.server 8000 din rădăcina repository-ului.

Apoi deschide: http://localhost:8000/ai-engineering/c2-ecosistem-modele/

Pe Cloudflare Pages, după commit și push, totul funcționează normal.