Διαδικτυακή παρουσίαση των Μεταπτυχιακών Προγραμμάτων Σπουδών : Παρασκευή 16 Μαΐου 2025 στις 14:00 μέσω Webex
Η Παρουσίαση των Μεταπτυχιακών Προγραμμάτων Σπουδών (ΠΜΣ) και
Διατμηματικών/Διιδρυματικών Προγραμμάτων Μεταπτυχιακών Σπουδών (ΔΠΜΣ) του
Τμήματος Πληροφορικής και Τηλεπικοινωνιών ΕΚΠΑ θα πραγματοποιηθεί μέσω της
πλατφόρμας webex, την Παρασκευή 16 Μαΐου 2025 στις 14:00.
Join from the meeting link
https://uoa.webex.com/uoa/j.php?MTID=m7c5a376017640389f57acf3f42ab09cd
Join by meeting number
Meeting number (access code): 2792 664 7306
Meeting password: TpF3gHTVJ45
Meeting link:
https://uoa.webex.com/uoa/j.php?MTID=m0f3b165cc1d6cdebb1bb098a7312c9c4
Meeting number:
2791 990 1401
Meeting password:
7tHMdePQK37
Join from a video system or application
Dial 27919901401@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.
Join by phone
+30-21-1990-2394 Toll
+30-21-1198-1029 Toll
Access code: 27919901401
Global call-in numbers
https://uoa.webex.com/uoa/globalcallin.php?MTID=ma697f3b96e8ca680380901fdf888bd66
Call for Applications for the academic year 2025-26
Call for Applications for the academic year 2025-26
Δηλώσεις μεταπτυχιακών μαθημάτων και Διπλωματικών Εργασιών Εαρινού εξαμήνου 2024-25
Δείτε την ανακοίνωση της Γραμματείας
https://www.di.uoa.gr/cs/anouncements/2683
και η ανακοίνωση σε docx
2024-25 (Ε) ΑΝΑΚΟΙΝΩΣΗ ΔΗΛΩΣΕΩΝ ΠΜΣ
MSc Thesis presentation of Mr. Dimitrios Rontogiannis, Wednesday 5/3/2025
On Wednesday, March 5, 2025, at 10:00, Mr. Dimitrios Rontogiannis of the graduate
program “Data Science and Information Technologies”, track on “Big Data and Artificial
Intelligence”, will present his MSc thesis titled:
Efficient and Interactive Evaluation of Large Language Models
Abstract
Evaluating large language models (LLMs) comprehensively is computationally expensive and
often fails to capture subtle performance differences. This thesis addresses two key challenges
in LLM evaluation—cost-effective accuracy estimation on static benchmarks and interactive
evaluation for in-depth analysis on complex tasks. For the first challenge, we develop methods
to estimate an LLM’s accuracy across multi-domain benchmarks without exhaustively evaluating
every instance by leveraging question embeddings, historical model responses, and
probabilistic modeling, thereby efficiently approximating accuracy while reducing computational
overhead for scalable assessments. The second challenge involves complex tasks where binary
pass/fail metrics are insufficient; to tackle this, we propose an interactive evaluation framework
that refines model responses through guided feedback, allowing for a more detailed assessment
of performance. This interaction enhances evaluation granularity and reveals detailed insights
into the model’s strengths, weaknesses, and reasoning behaviors, with a comprehensive report
synthesizing these insights into a nuanced perspective on model capabilities. By addressing
both cost-efficient accuracy estimation and interactive capability assessment, this thesis
contributes scalable and insightful methodologies for advancing LLM evaluation.
EXAMINATION COMMITTEE:
Prof. Dimitris Gunopulos, Department of Informatics and Telecommunications, University of
Athens (thesis supervisor)
Prof. Manolis Koubarakis, Department of Informatics and Telecommunications, University of
Athens
Prof. Yannis Panagakis, Department of Informatics and Telecommunications, University of
Athens
Wednesday, March 5 · 10:00 – 11:00am
Time zone: Europe/Athens
Google Meet joining info
Video call link: https://meet.google.com/nfw-sywh-qst
Την Τετάρτη 5 Μαρτίου 2025, στις 10:00, ο κ. Δημήτριος Ροντογιάννης μεταπτυχιακός
φοιτητής του προγράμματος «Επιστήμη Δεδομένων και Τεχνολογίες Πληροφορίας», με
ειδίκευση «Μεγάλα δεδομένα και τεχνητή νοημοσύνη», θα παρουσιάσει διαδικτυακά την
διπλωματική εργασίας του με τίτλο:
Αποτελεσματική και διαδραστική αξιολόγηση Μεγάλων Γλωσσικών Μοντέλων
Περίληψη
Η αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) είναι υπολογιστικά δαπανηρή και συχνά
αποτυγχάνει να καταγράψει τις λεπτές διαφορές απόδοσης. Η παρούσα διατριβή αντιμετωπίζει
δύο βασικές προκλήσεις στην αξιολόγηση LLM – αποδοτική εκτίμηση της ακρίβειας σε στατικούς
δείκτες αναφοράς και διαδραστική αξιολόγηση για εις βάθος ανάλυση σε σύνθετες εργασίες. Για
την πρώτη πρόκληση, αναπτύσσουμε μεθόδους για την εκτίμηση της ακρίβειας ενός LLM σε
πολυτομεακούς δείκτες αναφοράς χωρίς εξαντλητική αξιολόγηση κάθε περίπτωσης,
αξιοποιώντας την ενσωμάτωση ερωτήσεων, τις ιστορικές αποκρίσεις του μοντέλου και την
πιθανολογική μοντελοποίηση, προσεγγίζοντας έτσι αποτελεσματικά την ακρίβεια και μειώνοντας
παράλληλα την υπολογιστική επιβάρυνση για κλιμακούμενες αξιολογήσεις. Η δεύτερη πρόκληση
αφορά πολύπλοκες εργασίες όπου οι δυαδικές μετρήσεις επιτυχίας/αποτυχίας δεν επαρκούν-
για την αντιμετώπισή της, προτείνουμε ένα διαδραστικό πλαίσιο αξιολόγησης που βελτιώνει τις
απαντήσεις του μοντέλου μέσω καθοδηγούμενης ανατροφοδότησης, επιτρέποντας μια πιο
λεπτομερή αξιολόγηση των επιδόσεων. Αυτή η αλληλεπίδραση ενισχύει την ανάλυση της
αξιολόγησης και αποκαλύπτει λεπτομερείς γνώσεις σχετικά με τα δυνατά σημεία, τις αδυναμίες
και τις συμπεριφορές συλλογισμού του μοντέλου, με μια ολοκληρωμένη έκθεση που συνθέτει
αυτές τις γνώσεις σε μια διαφοροποιημένη προοπτική για τις δυνατότητες του μοντέλου. Με την
αντιμετώπιση τόσο της αποδοτικής εκτίμησης ακρίβειας όσο και της διαδραστικής αξιολόγησης
ικανοτήτων, η παρούσα διατριβή συμβάλλει σε κλιμακούμενες και διορατικές μεθοδολογίες για
την προώθηση της αξιολόγησης LLM.
ΕΞΕΤΑΣΤΙΚΗ ΕΠΙΤΡΟΠΗ:
Δρ. Δημήτρης Γουνόπουλος, Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών Εθνικό
και Καποδιστριακό Πανεπιστήμιο Αθηνών (Επιβλέπων)
Δρ. Μανόλης Κουμπαράκης, Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών Εθνικό
και Καποδιστριακό Πανεπιστήμιο Αθηνών
Δρ. Ιωάννης Παναγάκης, Καθηγητής, Τμήμα Πληροφορικής και Τηλεπικοινωνιών Εθνικό και
Καποδιστριακό Πανεπιστήμιο Αθηνών
Wednesday, March 5 · 10:00 – 11:00am
Time zone: Europe/Athens
Google Meet joining info
Video call link: https://meet.google.com/nfw-sywh-qst