Re‐examining text difficulty through automated textual analysis tools and readers’ beliefs: the case of the Greek State Certificate of English Language Proficiency exam
[Επανεξετάζοντας τη δυσκολία αναγνωσιμότητας κειμένων με τη βοήθεια αυτοματοποιημένων συστημάτων ανάλυσης κειμένου και των απόψεων των αναγνωστών: η περίπτωση των εξετάσεων Αγγλικής γλώσσας του Κρατικού Πιστοποιητικού Γλωσσομάθειας]
Jenny LIONTOU

 

This article reports on an exploratory study that aimed at describing and comparing a range of linguistic features that characterize the reading texts used at the B2 and C1 level of the Greek State Certificate of English Language Proficiency exam (KPG1). Its ultimate purpose was to explore the contribution of such features to perceived text difficulty while at the same time examining the relationship between strategy use and test‐takers’ perceived level of reading comprehension difficulty reported in 7,250 questionnaires. Text analysis revealed significant differences between B2 and C1 reading texts for a specific number of text features such as word, paragraph and text length, readability indices, levels of word frequency and presence of words with rich conceptual content. A significant correlation was also found between B2 test‐ takers’ perception of reading module difficulty and specific text features i.e. lexical diversity,  abstract words,  positive additive connectives and anaphoric references between adjacent sentences. With regard to C1 test‐takers, data analysis showed that two specific text variables i.e. positive logical connectives and argument overlap, correlated significantly with readers’ perception of reading module difficulty. Finally, problem‐solving reading strategies  such  as rereading the text, guessing the meaning of unknown words and translating in mother tongue were found to correlate significantly with perceived text difficulty, whereas support‐type reading strategies such as underlining or selectively reading parts of the text  were less often employed regardless KPG test‐takers’ perception of text difficulty. The findings of this study could help both EFL teachers and test designers gain valuable knowledge regarding EFL learners’ reading habits and also become more alert to the difficulty specific  text features impose on the latter.

Στο παρόν άρθρο παρουσιάζονται τα αποτελέσματα μιας μακροχρόνιας έρευνας που είχε ως στόχο τη λεπτομερή περιγραφή και σύγκριση υφομετρικών μεταβλητών των κειμένων κατανόησης γραπτού λόγου που έχουν χρησιμοποιηθεί στα επίπεδα Β2 και Γ1 των εξετάσεων Αγγλικής γλώσσας του Κρατικού Πιστοποιητικού Γλωσσομάθειας (ΚΠγ).

Απώτερος στόχος της παρούσας έρευνας υπήρξε η διερεύνηση της επίδρασης κειμενικών μεταβλητών στο βαθμό δυσκολίας αναγνωσιμότητας των συγκεκριμένων κειμένων. Παράλληλα εξετάστηκε η χρήση από τους εξεταζόμενους συγκεκριμένων στρατηγικών κατανόησης κειμένου και η σχέση των τελευταίων με το βαθμό δυσκολίας κατανόησης αγγλικών κειμένων σύμφωνα με τις απόψεις των συμμετεχόντων στις συγκεκριμένες εξετάσεις πιστοποίησης της γλωσσομάθειας όπως αυτές εκφράστηκαν σε 7.250 ερωτηματολόγια. Από την ανάλυση προέκυψαν στατιστικά σημαντικές διαφορές ανάμεσα στα κείμενα επιπέδου Β2 και Γ1 όσον αφορά σε συγκεκριμένες υφομετρικές μεταβλητές σε επίπεδο λέξης, πρότασης και παραγράφου καθώς και χαρακτηριστικών λεξιλογικής πλουσιότητας και πυκνότητας. Επιπλέον, παρατηρήθηκε η ύπαρξη στατιστικά σημαντικής συσχέτισης ανάμεσα στις απόψεις των εξεταζόμενων σχετικά με τη δυσκολία αναγνωσιμότητας κειμένων και τη χρήση συγκεκριμένων στρατηγικών ανάγνωσης όπως η ανάγνωση κειμένου περισσότερες από μια φορές, η προσπάθεια υποθετικής ερμηνείας των άγνωστων λέξεων αλλά και η μετάφραση στη μητρική γλώσσα για καλύτερη κατανόηση του  κειμένου.  Η  χρήση «υποστηρικτικών» στρατηγικών ανάγνωσης όπως η υπογράμμιση ή η επιλεκτική ανάγνωση σημείων του κειμένου υπήρξε περιορισμένη και μη σχετιζόμενη με τις  απόψεις των υποψηφίων ΚΠγ για το βαθμό δυσκολίας κατανόησης συγκεκριμένων αγγλικών  κειμένων.  Τα  αποτελέσματα της παρούσας έρευνας θα μπορούσαν να προσφέρουν στους καθηγητές της Αγγλικής ως ξένη γλώσσα αλλά και τους συγγραφείς θεμάτων για εξετάσεις γλωσσομάθειας σημαντικές πληροφορίες σχετικά με τις στρατηγικές ανάγνωσης αγγλικών κειμένων και τα υφομετρικά χαρακτηριστικά αυτών που εντείνουν τη δυσκολία κατανόησης για συγκεκριμένους αναγνώστες.

 

Key words: text difficulty, readability, lexical complexity, reading strategies, test‐taking strategies

 

Click here to access the full paper