Een legende gaat dat een zoon van Farao Osiris, een zekere Hercules de Egyptenaar, al in 1706 v. C. tijdens de stichting van de stad de eerste bouwstenen legde voor een vesting. Zeker is dat Alfons VI een belangrijk aandeel had aan de huidige versie en dat latere koningen van Spanje er hun steentje aan bijdroegen om tot een indrukwekkende en eclectisistische stijl te komen.
Zo werd de vesting, gebouwd op een rots tussen de samenvloeiende rivieren Eresma en Clamores, onder Karel V en Filips II nog eens aanzienlijk versterkt, als dank voor de steun, die de stad aan Isabel la Católica verleende. Toen zij na de dood van Hendrik IV, in 1474, de troon opeiste, ondervond ze weerstand van Juan Bravo tijdens de zg. Opstand der Comuneros en Segovia was haar trouw gebleven. Later, in 1862, was de vesting slachtoffer van een rampzalige brand, die het grotendeels verwoestte. Dankzij gedetailleerde tekeningen van de negentiende eeuwse oudheidkundige Avrial kon men het bouwwerk in redelijk oude staat restaureren, iets waar men tot op de dag van vandaag nog altijd mee bezig is.
In een document gedateerd in 1122, vlak na de herovering van de stad door Alfons VI, wordt voor het eerst iets over het bestaan van de vesting vermeld. Later, in een brief uit 1155 staat voor het eerst de naam Alcazár. Archeologische vondsten onder het gebouw geven reden aan te nemen dat het in elk geval al een Romeins bolwerk moet zijn geweest omdat het gaat om bewerkt steen van dezelfde soort als die van het beroemde Aquaduct.
Alfons de Wijze had een voorkeur voor Segovia en in de laatste jaren van zijn leven hield hij er zijn hofhouding. Volgens een overlevering zou hij op een dag beweerd hebben dat hij God tijdens de schepping graag van advies had willen voorzien. Als straf voor deze blasfemie vloog dezelfde dag nog het kapsel van zijn echtgenote in brand, wat hem ertoe bracht de volgende dag zijn woorden openlijk terug te nemen en bij wijze van penitentie de gordel van de Heilige Fransiscus als versiering in zijn kamer aan te brengen. Hieraan hebben we de naam Sala de Cordón, zoals zijn kamer nu nog genoemd wordt, te danken.
In de veertiende eeuw was het de dynastie van de Trastámaras, die het kasteel een meer weelderige inrichting gaf. Het beste voorbeeld hiervan is de prachtige Sala de la Galera, in 1412 gebouwd door Catherine van Lancaster, de weduwe van Hendrik III en regentes namens haar zoontje Johan II van Castllië. Deze zaal is voorzien van een artesonado-plafond bestaand uit een mudéjar-fries met honingraatmotief en een andere fries met heraldische voorstellingen. Reeds bestaande zalen van het bouwwerk werden betegeld en ingericht met kostbare wandtapijten, sofa's en andere meubelen in Moorse stijl.
Oorspronkelijk was de zg. Sala del Palacio Mayor het hoofdvertrek van het oude paleis, met ajimez-vensters en fresco's. Deze zaal wordt onmiddellijk bereikt via de ophaalbrug onder de grote donjon door en de zg. Patio de Armas, in Herrera-stijl opgetrokken. Nu is de Sala del Palacio Mayor nog slechts een wapenkamer.
Hiernaast is een tussenruimte met open haard, waardoor we in de Sala del Solio komen, de troonzaal, die in 1456 voor Hendrik IV gebouwd werd door de Moor Xadel. Deze is voorzien van gerestaureerde gothische mudéjar-decoraties. Het plafond is afkomstig uit Urones de Castroponce. Vervolgens bereiken we de eerder genoemde Sala de la Galera. Hier worden we getrakteerd op een uiterst schilderachtig uitzicht over de vallei van de Eresma, waarna we verder gaan naar de Sala de las Piñas, in 1451 gebouwd en door Ferdinand II in 1817 gebruikt als studeerkamer.
Terugkomend in de Sala del Palacio Mayor en de Patio de Armas kunnen we verder gaan via de zg. Capilla (de kapel). Het plafond werd indertijd door de brand verwoest en later vervangen door dat uit Cedillo de la Torre. Er hangen kunstwerken uit de school van Pedro de Berruguete en een Vlaams drieluik, waarop Santiago als bestrijder van de Moorse troepen staat afgebeeld. Vanuit de aangrenzende Tocador de la Reina kunnen we op het altaarstuk in de kapel kijken. Vermoedelijk was dit het eerste voorbeeld om iemand vanaf het ziekbed een mis te doen bijwonen, iets wat later in Yuste -door Karel V- en El Escorial -door Filips II- werd nagevolgd. Er hangt een portret van Isabel la Católica.
De volgende zaal, met een tongewelf, is de eerder genoemde Sala de Cordón. Ook de nabijgelegen Sala de los Reyes ging tijdens de brand verloren. Alfons de Wijze was met de bouw ervan begonnen, waarna Filips II het in 1596 voltooide. Hier trouwde Filips met zijn vierde vrouw, Anna van Oostenrijk, onder toeziend oog van zijn voorvaderen, de koningen van Asturiës, León en Castillië, die er representeerd worden d.m.v. polychrome houten beelden -vanaf Pelayo (rond 716) tot Johanna de Waanzinnige, die in 1555 overleed.
Op het terras kunnen we genieten van het uitzicht op de noordelijk gelegen Huerto del Rey, een beboste helling buiten de stadsmuren en de bosachtige weg langs de oever van de Eresma. Hier moet zich een afschuwelijk drama afgespeeld hebben. Het schijnt dat een koninklijke baby de moederlijke armen van een kamermeisje optglipte en langs de kasteelmuren in de diepe gracht te pletter viel. Er onmiddellijk van doordrongen wat voor gruwelijke straf haar te wachten stond, is het kamermeisje de baby seconden later wanhopig achterna gesprongen.
Tot slot komen we in de Sala de Armas, waar we typische zestiende eeuwse wapenrusting zien. De weerhaak, onder de punt van de speren, haakten de infanteristen achter de pantserstukken van de ruiters, zodat ze van hun paard konden worden getrokken.
