Οι Σπαρτιάτες, βλέποντας αυτή την κίνηση των Αθηναίων, αντέδρασαν, καθώς θεωρούσαν ότι σε περίπτωση Περσικής επιδρομής, οι Πέρσες θα καταλάμβαναν και θα χρησιμοποιούσαν μια οχυρωμένη πόλη ως ορμητήριο. Παρά τις αντιδράσεις τους ωστόσο, ο Θεμιστοκλής έδωσε εντολή στους Αθηναίους να ανοικοδομήσουν το νέο τείχος πάνω στο παλαιότερο που υπήρχε.
Μέσα λοιπόν σε μικρό χρονικό διάστημα θεμελιώθηκε ένα τείχος μήκους 6,5 χιλιομέτρων, το οποίο ονομάστηκε «Θεμιστόκλειο», από τον εμπνευστή του, και περιέκλειε την πόλη των Αθηνών. Το τείχος της Αθήνας χτίστηκε το 479 π.Χ. και για την ανοικοδόμησή του οι Αθηναίοι χρησιμοποίησαν υλικά από παλαιότερα κτίσματα, αναθήματα, ακόμα και ταφόπετρες. Το τείχος είχε πλάτος 2,5 μέτρα και έφτανε σε ύψος τα 8 μέτρα. Η βάση του ήταν λίθινη και το υπόλοιπο ήταν κατασκευασμένο από μεγάλους πλίνθους. Όμως, στη συνθήκη που συνήψαν οι Σπαρτιάτες με τους Αθηναίους μετά το τέλος του Πελοποννησιακού Πολέμου (431-404 π.Χ), υπήρχε ο όρος να κατεδαφιστούν τα τείχη της Αθήνας. Ο όρος υλοποιήθηκε με πρωτοβουλία του Σπαρτιάτη Λύσανδρου το 404 π.Χ.
Το Θεμιστόκλειο τείχος ξεκινούσε από τον λόφο του Φιλοπάππου και κατερχόταν νοτιοδυτικά, όπου ξεκινούσαν τα Μακρά Τείχη που συνέδεαν τον Πειραιά, το επίνειο της πόλης, με την Αθήνα. Οι Αθηναίοι ανοικοδόμησαν τα τείχη, υπό τον φόβο ότι θα δέχονταν επίθεση από τον στρατό του Μακεδόνα βασιλιά Φιλίππου Β’. Τα νέα τείχη κατασκευάστηκαν εξ’ ολοκλήρου από πέτρα και ήταν λίγο ψηλότερα από τα προηγούμενα. Διέθεταν τάφρο βάθους 4 μέτρων και πλάτους 9-12,5 μέτρων. Συνολικά είχαν 13 μεγάλες πύλες εκ των οποίων η πιο γνωστή ήταν το «Δίπυλον», το οποίο βρισκόταν στον Κεραμεικό και ήταν η κύρια είσοδος στην πόλη. Εντός των τειχών υπήρχαν σπίτια και ιερά και εκτός των τειχών ήταν τα γυμνάσια της πόλης και τα νεκροταφεία.
Τα εν λόγω τείχη καταστράφηκαν όταν ο Ρωμαίος στρατιωτικός Σύλλας το 86 π.Χ. πολιόρκησε την Αθήνα. Οι κατάσκοποι του Ρωμαίου στρατηγού κατόρθωσαν να βρουν ένα ευάλωτο σημείο του τείχους, απ’ όπου θα μπορούσαν να εισέλθουν στην πόλη, κι έτσι επιτέθηκαν στην Αθήνα. Όπως ανέφερε ο Σύλλας στα απομνημονεύματά του, κατέλαβε την πόλη νύχτα και χωρίς να χάσει χρόνο ισοπέδωσε το τείχος. Μεταγενέστερα, ο Αδριανός το έχτισε ξανά και το επέκτεινε μέχρι το Παναθηναϊκό Στάδιο, αλλά οι επιδρομές των Ερούλων που ακολούθησαν το ισοπέδωσαν ολοκληρωτικά.
Τον περασμένο αιώνα τμήματα του αρχαίου τείχους βρέθηκαν διάσπαρτα στο κέντρο της σύγχρονης Αθήνας. Στην οδό Πεσμαζόγλου, κατά μήκος της οδού Πειραιώς και στο υπόγειο του Μουσείου Ισλαμικής Τέχνης στον Κεραμεικό έχουν βρεθεί ορισμένα τμήματα του αρχαίου τείχους. Το πιο καλοδιατηρημένο τμήμα βρέθηκε στον Κεραμεικό, όπου σώζεται το «Δίπυλο» και η «Ιερά Πύλη», απ’ όπου ξεκινούσε η Ιερά οδός και η πομπή για τα Ελευσίνια μυστήρια.