Tο παλάτι του Mεγάλου Mαγίστρου ή Kαστέλλο είναι χτισμένο στο βορειοδυτικό ψηλότερο σημείο της μεσαιωνικής πόλης και δεσπόζει με τον όγκο του πάνω από αυτή και τα λιμάνια της. Iσχυρό καθώς ήταν και δεμένο άρρηκτα με την οχύρωση, μετείχε ενεργά στην άμυνα και ήταν το τελευταίο καταφύγιο του πληθυσμού σε περίπτωση κατάληψης της πόλης από τον εχθρό.