Στα μέσα του 13ου αιώνα (1230-1232) έγιναν νέες επεμβάσεις και βελτιώσεις στα βόρεια τείχη, στην Ακρόπολη.

Στα πλαίσια αυτών των επεμβάσεων κατασκευάζεται και ο Πύργος του Δεσπότη Μανουήλ Παλαιολόγου.

Στην βόρεια πλευρά του Πύργου υπάρχει πλίθινη Επιγραφή τεσσάρων σειρών η οποία μας πληροφορεί ότι:

“ΣΘΕΝ(Ε)Ι ΜΑΝΟΥΗΛ ΤΟΥ ΚΡΑΤΙΣΤΟΥ ΔΕΣΠΟΤΟΥ
ΉΓΕΙΡΕ ΤΟΝΔΕ ΠΥΡΓΟΝ (ΑΥ). (ΣΥΝ) ΤΩ ΤΕΙΧΙΩ
ΓΕΩΡΓΙΟΣ ΔΟΥΞ ΑΠΟΚΑΥΚΟΣ ΕΚ ΒΑΘΡΩΝ
ΣΘΕΝ(ΕΙ) ΜΑΝΟΥΗΛ ΤΟΥ ΚΡΑΤΙΣΤΟΥ (ΔΕΣΠΟΤΟΥ)”.

Σύμφωνα με αυτή τη επιγραφή η δουλειά ήρθε εις πέρας χάρη στο Δούκα Γεώργιο Απόκαυκο που βρίσκονταν υπό τις διαταγές του Δεσπότη Μανουήλ.