Θεωρητικά ο χρόνος αξιολόγησης των αιτήσεων είναι ανάλογος του βάθους που αυτή φτάνει και του πλήθους των προς αξιολόγηση προτάσεων. Έχοντας περιμένει πάνω από έναν χρόνο, μεταδιδάκτορες και ερευνητές/ερευνήτριες μείναμε άφωνοι με τα αποτελέσματα της προκήρυξης “Trust your stars”. Η ομάδα αξιολόγησης μας φαίνεται πως ενστερνίζεται το “δεν θέλει κόπο/θέλει τρόπο” και για να είμαστε πιο συγκεκριμένες, αρκεί να περάσεις τις προτάσεις από ένα καλό… γλωσσικό μοντέλο και να πατήσεις “Ctrl+C/Ctrl+V”. Έτσι, με απλό και κομψό τρόπο, γεννήθηκε η παρωδία “Trust Your Stars”, ένα άψογο παράδειγμα του πώς να μην κάνεις αξιολόγηση.
Όλοι λάθος εκτός από το μοντέλο
Οι απαντήσεις των “κριτών” ήταν τόσο παρόμοιες που δεν ήξερες αν διάβαζες την αξιολόγηση της δικής σου πρότασης ή του γείτονα που γράφει για διαφορετικό επιστημονικό πεδίο. Λείπει από κάθε πρόταση το business plan (που στην Δράση Ι δεν ήταν ζητούμενο…), τα ερωτήματα δεν πιάνουν τον παλμό της επιστημονικής κοινότητας γιατί δεν υπάρχουν παραπομπές από συνέδρια που να δείχνουν ενεργό διάλογο (παρά τις παραπομπές σε πρόσφατη βιβλιογραφία), ομάδες νέων μεταδιδακτόρων δεν εμφανίζουν αποδεδειγμένη συνέργεια σε παρόμοιες εργασίες.
Ανάμεσα στις επαναλαμβανόμενες αρνητικές αξιολογήσεις, διαβάζουμε και το αμίμητο: “περιορισμένη εμπειρία σε εξειδικευμένα ζητήματα” απευθυνόμενο σε ερευνητικές ομάδες που έχουν αφιερώσει δεκαετίες στο ίδιο αυτό αντικείμενο, με διεθνείς διακρίσεις, δημοσιεύσεις και βραβεία, εύκολα διαπιστεύσιμα στα βιογραφικά των συμμετεχόντων.
Εμπιστοσύνη στον… αστρολόγο
Η διαφάνεια στη διαδικασία αξιολόγησης ήταν τόση, που θα μπορούσες να τη διακρίνεις με ηλεκτρονικό μικροσκόπιο. Καμία εξήγηση για τα κριτήρια, καμία σαφής σύνδεση σχολίων με το περιεχόμενο της πρότασης, και πάνω απ’ όλα: καμία ευθύνη. Ποιος έκρινε; Με ποιο υπόβαθρο; Με ποια εξειδίκευση; Ή μήπως η ερώτηση είναι λάθος και θα έπρεπε να αναρωτηθούμε: ποιο prompt έδωσε κάποιος σε ένα large language model (LLM) για να μας “κρίνει”;
Μην ανησυχείτε: το σύστημα δουλεύει. Σίγουρα δουλεύει για κάποιους.
Επιστήμη χωρίς κρίση και κρίση χωρίς επιστήμη
Το πιο ειρωνικό στην υπόθεση είναι πως προτάσεις υψηλής επιστημονικής αξίας κόπηκαν με γενικόλογα σχόλια, χωρίς ούτε ένα τεκμήριο, χωρίς καμία αναφορά σε πραγματικά σημεία του κειμένου. Αρκούσε μία δόση “επιτηδευμένου” λεξιλογίου και έτοιμη η αξιολόγηση. Εξίσου ειρωνικό: προτάσεις που έχουν ήδη χρηματοδοτηθεί από κορυφαίους διεθνείς φορείς, εδώ χαρακτηρίστηκαν “ασαφείς” ή “ανώριμες”.
Τελικά επιβεβαιώνεται για άλλη μια φορά πως ήταν εξαρχής συγκεκριμένοι οι αποδέκτες που θα μοιράζονταν τις χρηματοδοτήσεις και οι υπόλοιπες προτάσεις απλά χρειάζονταν μια τυπική απάντηση. Φαίνεται κάποιοι θέλουν την έρευνα να αξιολογείται με prompt σε LLM και να κρίνεται με κείμενα-καρμπόν, ενώ μερικά (ακόμα) δις ακολουθούν άγνωστες πορείες.
Κάποιες θα συνεχίσουν να γράφουν προτάσεις με κόπο και ελπίδα, και κάποιοι άλλοι θα συνεχίζουν να παίζουν τα ζάρια του αλγορίθμου. Και αυτό είναι ένας από τους στόχους ύπαρξης των ανταποδοτικών χρηματοδοτήσεων σε βάρος της σχεδιασμένης έρευνας με σταθερό προϋπολογισμό.
Καλή τύχη στα άστρα σας.