Ένας λόφος που στην κορυφή του δεσπόζει το παλιό μεσαιωνικό κάστρο. Μέσα στο κάστρο υπάρχουν δύο θαυμάσιες εκκλησίες με λευκούς τοίχους και γαλάζιους τρούλους. Στις πλαγιές του λόφου απλώνονται τα σπίτια, όλα κυκλαδικού ρυθμού με επίπεδες στέγες και γαλάζια κουφώματα. Δυτικά από το λόφο του κάστρου, πάνω σ' ένα διάσελο υπάρχουν παλιοί ανεμόμυλοι που αναστηλώθηκαν. Ο οικισμός είναι χτισμένος σε λόφο που εισχωρεί στη θάλασσα σχηματίζοντας δύο όρμους: το λιμάνι και τον όρμο του λιβαδιού. Πάνω στο λόφο-χερσόνησο (ύψους 130 μ.) δεσπόζει ενετικό κάστρο. Το τείχος του αποτελείται από περιμετρικά σπίτια, χτισμένα με σκούρα ντόπια πέτρα και μέσα από αυτό ξεπετάγονται κατάλευκοι τρούλλοι και καμπαναριά. Το κάστρο σφιχταγκαλιάζεται από λευκά κυβιστικά σπίτια, που κατεβαίνουν σαν ποταμός αναπτύσσοντας τον οικισμό μέχρι το λιμάνι. Στον αυχένα του λόφου δέκα καλοδιατηρημένοι ανεμόμυλοι. Η περίμετρος του κάστρου ακολουθεί το ανάγλυφο του εδάφους σχηματίζοντας πλήθος εσοχές και προεξοχές που δίνουν θαυμαστή ποικιλκία προοπτικής. Οι δρόμοι στενοί, κατηφορίζουν κλιμακωτά από το λόφο, κυκλικά γύρω από το κάστρο. Το γύρω τοπίο είναι εντελώς ξηρό και άδενδρο.

Πάνω στο λόφο κτίσθηκε κατά τα Μεσαιωνικά χρόνια το κάστρο της Αστυπάλαιας. Αργότερα ο οικισμός επεκτάθηκε έξω από τα τείχη, στην πλαγιά του υψώματος.

Είναι πρωτεύουσα και λιμάνι του νησιού. Αποτελεί ιδιαίτερο αξιόλογο αρχιτεκτονικό και πολεοδομικό σύνολο, καθώς αναπτύσσεται περιμετρικά του μεσαιωνικού κάστρου και χαρακτηρίζεται πολεοδομικά από στενούς ανηφορικούς δρομίσκους και στενά αδιέξοδα και αρχιτεκτονικά από κυβόσχημους όγκους με ενδιαφέρουσα ποικιλία λύσεων λόγω της ιδιομορφίας του εδάφους. Σημαντικά κτίσματα του κάστρου είναι οι δύο εκκλησίες του, ο τετράγωνος πύργος (με 18 μ. περίμετρο) και δύο ενδιαφέροντα σπίτια που σώζονται.