Πάνω σε χερσόνησο, σε θέση οχυρή, απλώνεται σε σειρά από υψώματα που στο ψηλότερο σημείο τους βρίσκεται το μεσαιωνικό κάστρο και ο οικισμός του Μόλυβου. Ο κεντρικός δρόμος, που συγκεντρώνει όλη την εμπορική κίνηση, διασχίζει τον οικισμό, ακολουθώντας τις υψομετρικές καμπύλες του εδάφους. Παράλληλα σ' αυτόν οι κύριοι δρόμοι. Μεγάλο αισθητικό ενδιαφέρον στους δευτερεύοντες άξονες που είναι κλιμακωτοί, κάθετοι στις υψομετρικές καμπύλες, και οδηγούν προς το κάστρο με πολλές στροφές. Ιδιαίτερο ενδιαφέρον παρουσιάζει η ακραία προς τη θάλασσα σειρά κτισμάτων. Kατά μήκος απότομου βράχου και σε αρμονία με αυτόν κτίστηκαν κατοικίες με ψηλούς, ισχυρούς και χωρίς ανοίγματα προς τη θάλασσα τοίχους, θυμίζοντας ανάλογο τρόπο οχύρωσης πολλών κυκλαδίτικων οικισμών. Βασικό χαρακτηριστικό γνώρισμα ο αστικός του χαρακτήρας.

Ο οικισμός διατήρησε τη θέση του από την αρχαιότητα μέχρι σήμερα. Ένα από τα τρία κάστρα της Λέσβου που δεν κατέστρεψαν οι Τούρκοι το 1462.

Η δεύτερη σημαντικότερη πόλη της Λέσβου, μετά τη Μυτιλήνη και μητρόπολη της μιας από τις δύο οικιστικές ενότητες του νησιού. Επί του λόφου, όπου και το κάστρο σήμερα, ήταν κτισμένη η αρχαία πόλη, πατρίδα του μουσικού Αρίωνα. Διατηρούνται πολλά αρχοντικά του τέλους του 18ου και των αρχών του 19ου αι. Εκεί γεννήθηκε ο ποιητής Αργύρης Εφταλιώτης και έζησε και ο Ηλίας Βενέζης.