Ο Αλή πασάς, όταν πολέμησε το 1810 με τον Ιμπραήμ πασά, γυιό του Κουρτ πασά, και κυρίευσε όλη την επικράτειά του, μπήκε στο Μπεράτι και ρώτησε να μάθη, πού είναι ο τάφος του Αγίου Κοσμά. Όλες οι προρρήσεις του Κοσμά πραγματοποιήθηκαν μέσα σε τριάντα χρόνια και ο Αλής δεν ξέχασε τον ευεργέτη του. «Κάλεσε τον Μητροπολίτη Βελιγράδων Ιωάσαφ και τον πρόσταξε να κάνη ανακομιδή των λειψάνων του Αγίου, δίπλα στην καταρρέουσα εκκλησία των Εισοδίων της Θεοτόκου, και να κτιστή μοναστήρι επ’ ονόματι του Αγίου», «επειδή τον εγνώρισεν ως αληθινόν άνθρωπον του Θεού δια την προφητείαν και δι’ άλλα». Έκανε δε έρανο σ’ όλη την Ήπειρο και την Αιτωλοακαρνανία και φρόντισε να βρη τον καλύτερο αρχιμάστορα, για να κτίση περίλαμπρο το Ναό.
Ο ίδιος ο Αλή πασάς έδωσε χρήματα για το μοναστικό συγκρότημα, που υπολογίζεται ότι είχε 60 δωμάτια, τα οποία στέγαζαν τους μοναχούς, τους προσκυνητές και εμπόρους κατά τα πανηγύρια και τους οικότροφους μαθητές του Σχολείου που έκτισε ο Αλής, για να διδάσκωνται τα ελληνικά και τα λατινικά, όχι τα τούρκικα. Το ισόγειο χρησιμοποιούνταν για αποθήκες και σταύλους. Εξωτερικά, στην κόγχη του βήματος διαβάζουμε: «ΑΝΗΓΕΡΘΗ ΕΚ ΒΑΘΡΩΝ Ο ΘΕΙΟΣ ΚΑΙ ΙΕΡΟΣ ΟΥΤΟΣ ΝΑΟΣ ΔΙΑ ΠΡΟΣΤΑΓΗΣ ΚΑΙ ΠΡΟΤΡΟΠΗΣ ΤΟΥ ΥΨΗΛΟΤΑΤΟΥ ΒΕΖΥΡ ΑΛΗ ΠΑΣΙΑ ΑΠΟ ΤΕΠΕΛΕΝΗ».
Δίπλα από το μοναστήρι του Αγίου Κοσμά, κατά μήκος του κατεστραμμένου Ναού των Εισοδίων της Θεοτόκου, στο κέντρο μικρού δωματίου, βρίσκεται ο τάφος του. Είναι λιτός, μ’ έναν πέτρινο σταυρό. Φέρει την επιγραφή «Shen Kozma» Άγιος Κοσμάς. Το μοναστήρι αναστηλώθηκε από τον Αρχιεπίσκοπο κ. Αναστάσιο. Τα άγια λείψανα φυλάσσονται για ασφάλεια στην Αρχιεπισκοπή στα Τίρανα, όπως και η αποτοιχισμένη εικόνα που βρισκόταν πάνω από τον τάφο του.
Στη συνέχεια ο Αλή πασάς «εγκαινίασε την Εκκλησίαν του Αγίου συστήσας τριήμερον εμπορικήν πανήγυριν εις Κολικόνταση 23, 24 και 25 Αυγούστου, εξ όλων δε των πόλεων συνέρχονται έμποροι και αγοραπωληταί και αι αγοραί των πόλεων όλων κλείουσιν εις την 24ην Αυγούστου». Τον δε Ναό «επροίκισε με ικανάς γαίας και εν χωρίον».
Τον Αύγουστο του 1813 έγινε ανακομιδή των λειψάνων του Αγίου και η σεπτή κάρα του εστάλη στον Αλή κατά την επιθυμία του. Τέτοια ευλάβεια έτρεφε για τον Άγιο Κοσμά ο Αλής, ώστε «παρήγγειλε τω εκ Καλλαρύτων χρυσοχόω Παπαγεωργίου, για την αγία κάρα του, ασημένια φλωροκαπνισμένη θήκη με διαμάντια και συχνά έφερε τα ιερά λείψανά του στα Γιάννενα για να τα ανασπασθή, οπότε γινότανε μεγάλη τελετή με τη συμμετοχή αυτού, της κυρά Βασιλικής, του κλήρου, του λαού και αυτών των Τούρκων ακόμα».
Από το βιβλίο: Μαρία Αλ. Μαμασούλα, Ο Εθναπόστολος Άγιος Κοσμάς ο Αιτωλός. Έκδοση «Ενωμένη Ρωμηοσύνη», 2016, σελ. 123.