In de zomer van 1869 huurde ze het kasteel van haar broer Ludwig aan de Starnberger See en toen Frans Josef haar smeekte zo spoedig naar Ischl terug te komen omdat hij niet naar Beieren kon gaan, stemde ze toe, alleen om hem eraan te kunnen herinneren, "dat aangezien ik bereid ben offers te getroosten voor jou, ik hoop, dat jij hetzelfde zult doen voor mij".
Het geduld waarmee de keizer de eigenaardigheden en grillige buien van zijn vrouw verdroeg is verbazingwekkend. Was het berouw over iets dat in het verleden was gebeurd, dat hem zo ridderlijk en begrijpend maakte, of was het omdat hij haar zo innig en onzelfzuchtig liefhad, dat hij bereid was het weinige te accepteren dat zij kon geven? Zoals Elisabeth hem eens vertelde: Je kent mij en mijn gewoonten, en mijn "extinction de roi", maar als je mij wilt nemen zoals ik ben, nu , dan moet ik gepensioneerd worden. Het waren de woorden van een buitengewoon zelfverzekerde vrouw, die wist dat haar man haar dankbaar was voor elk kruimeltje genegenheid, die zoete, plagende genegenheid, die zij nooit trachtte te laten doorgaan voor liefde. Frans Josef had zijn eenzaam leven in de Hofburg leren aanvaarden en had geleerd zich aan te passen aan de omstandigheden.
Hij heeft zich misschien ook gerealiseerd dat, wanneer hij en zijn vrouw bij elkaar waren, ze elkaar heel weinig te zeggen hadden, want hij had geen sympathie of begrip voor haar doorlopend "snakken naar het onbereikbare". Zo innig als hij haar liefhad in haar vrolijke, kinderlijke buien, zo weinig kon hij haar volgen in haar poëtische vluchten. Zij was geboren met een artistiek temperament, maar zonder scheppend talent, want de gedichten die zij op haar dertigste schreef waren niet beter dan die ze op haar veertiende jaar had gemaakt. Hierdoor zag Elisabeth izch na een huwelijk van vijftien jaar als een gedesillusioneerde vrouw, maar in werkelijkheid was zij nog steeds een romantisch meisje in haar adolescentie.
De onvolwassenheid van haar brieven aan haar man en Ida Ferenczy is opvallend. Ze klinken als die van een verwend jong meisje in plaats van die van een vrouw. De liefde voor haar paarden is het overheersende thema in haar brieven aan haar vriendin. "Kus Ballerina voor mij van top tot teen, maar pas op dat ze je niet in de maag trapt, want soms is ze erg ondeugend. En opnieuw : "Duizend kussen voor de paarden. Wat jammer, dat ik mijn favorieten niet altijd mee kan nemen.
Aan Ida, die in Wenen was gebleven, schrijft ze vanuit Boedapest over de belachelijke etiquette, die niet toestond dat zij alleen ontbeet met de dokter, die geroepen was om Valerie te onderzoeken, aangezien het niet betamelijk wordt geacht, en hoe zij "rilt bij de gedachte, terug te keren naar Schönbrunn, want behalve jou en de paarden ontmoet ik niets dan onaangenaamheden, waar ik ook ga". De onaangenaamheden bestonden grotendeels in haar verbeelding en zij was zelf voornamelijk verantwoordelijk voor de koele sfeer aan het hof.
Niemand kon een geestdriftiger bewonderaar zijn geweest als graaf Bellegarde, toen hij voor het eerst zijn ambt van adjudant-generaal aanvaardde. Frans Josef plaagde zijn echtgenote zelfs met de openlijke bewondering van zijn adjudant. Maar binnen enkele maanden was Bellegarde één van haar strengste critici geworden. Hij ging zelfs zo ver, dat hij haar belasterde. Het zou gemakkelijker zijn deze ommekeer toe te schrijven aan gekwetste ijdelheid, omdat de keizerin zijn avances negeerden, maar het is een eigenaardige samenloop van omstandigheden, dat die opeenvolgende adjudanten, Grünne, Crenneville en nu Bellegarde, die mannen die het dichtst bij de keizer waren en heel wat afwisten van zijn privé-leven, zich alle drie tegen haar keerden. Ze verweten haar haar gebrek aan beminnelijkheid, of liever gezegd, haar onverschilligheid tegenover wereldse waarden. Alles hing af van haar stemming. Als ze zin had beminnelijk te zijn, glimlachte en sprankelde ze en dan vielen zelfs haar vijanden onder haar betovering. Maar bij de geringste ergenis bevroor haar mooie gezicht tot een masker. De atmosfeer werd ijzig en de hovelingen zuchtten van opluchting als hare majesteit de kamer verliet. Elisabeths karakter was een en al contrasten. De keizerin die rebelleerde tegen het kastesysteem en die zich fier een liberale vrouw noemde, bestudeerde de lijst van mensen die aan het hof zouden worden voorgesteld even zorgvuldig als aartshertogin Sophia en wee de kamerheer die de naam van een ambiteuze parvenu in de lijst had opgenomen.
De oostenrijkse aristocratie mocht de keizerin dan koud en hooghartig vinden, maar zij was het enige lid van haar familie, dat vriendschap sloot met de vrouw van haar broer, de actrice Henriëtte Mendel. En het snobisme aan haar hof was zo groot, dat Elisabeth aan Ida Ferenczy schreef dat zij haar gevolg had weggestuurd, toen haar broer en zijn vrouw in Garatshausen kwam dineren, omdat ik zulke hoge personages niet kon beledigen door hen aan één tafel te laten zitten met mijn schoonzuster. Toen een van haar gedienstigen in de Hofburg ziek werd beklom de keizerin de trap naar de bediendenverblijven om haar fruit en bloemen te brengen en toen de dokter, die Valarie had behandeld in Gödollo, plotseling stierf schreef ze een ontroerende brief aan de weduwe om haar uit te nodigen haar te komen opzoeken in Boedapest.
Nergens is Elisabeth charmanter dan in haar brieven aan de Engelse Mary Trogmorton, die haar door de koningin van Napels was aanbevolen als gouvernante voor Valarie.
Mary Throgmorton was een nuchtere jonge Engelse, die wel gevleid was door de overdreven hartelijkheid van de keizerin, maar die er zich niet door liet meeslepen. Zij antwoordde voorzichtig, dat ze het misschien wel prettig zou vinden haar leven te wijden aan een onbekend aartshertoginnetje, maar dat ze zich voorlopig niet larogmortonger dan een jaar wilde binden, voor het geval het Weense klimaat haar slecht bekwam.
Toen Mary Thorgmorton in Wenen kwam om haar betrekking te aanvaarden, bevond de keizerin zich in de Hofburg, wat zij altijd beschreef als "in het harnas" leven. De vrouw, die in haar brieven zo eenvoudig en hartelijk leek, was een ongenaakbaar, hooghartig schepsel, geremd door etiquette, die slechts heel korte bezoekjes aan de kinderkamer bracht en die de nieuwe gouvernante welkom heette met een paar gestileerde zinnetjes in voortreffelijk Engels. Als lid van de hofhouding der aartshertogin kreeg Mary Throgmorton een rijtuig en een kamenier tot haar beschikking en het recht deel te nemen aan alle hofceremonies. Ze kreeg ook een plaats in een van de koninklijke loges in de opera of de schouwburg.
Maar nauwelijks was ze ontsnapt uit Wenen, of Elisabeth werd een heel andere vrouw. In het kasteel van haar broer aan de Starnberger See leidde ze een heel simpel en landelijk leven. Hofdames werden met vakantie gezonden, stalmeesters werden weggestuurd en de keizerin baadde en roeide op het meer en ging met de ponywagen haar familieleden bezoeken. Rondreizende kermisklanten met tamme beren, citerspelers en circusartiesten werden verwelkomd in het kasteel, zogenaamd om de kleine Valerie te amuseren maar in werkelijkheid om haar moeder te plezieren, tot de hertogin klagend zei: "Sisi wordt al net als haar vader met die hartstocht van haar voor kwakzalvers en kermisklanten. Omringd door haar familie, die allen in de buurt woonden. Néné in Ratisbon, de koning en koningin van Napels in Fendafing, de laatsten stralend van geluk, omdat ze eindelijk een kind zouden krijgen. En met geen andere taak dan zich te wijden aan Valerie, schreef Elisabeth aan haar trouwe Ida: Ik hoef hier mijn hersens absoluut niet te gebruiken, wat ik altijd zo heerlijk vind. De engelse gouvernante werd haar confidante. Ze werd eerst betoverd en dan weer genegeerd, als haar meesteres te indolent was om te praten. Haar inertie was vooral duidelijk merkbaar toen aartshertogin Sophia kam om haar zuster in Possenhoven te bezoeken De koningin van Napels lichtte miss Throgmorton in over de gespannen verhouding tussen de keizerin en de aartshertogin, die door de Engelse gezien werd als een charmante, bijzonder waardige oude dame, die zich uitsloofde om de mensen op hun gemak te stellen. Tegelijkertijd waarschuwde Maia Sophia haar dat, als ze op goede voet wilde blijven met de keizerin, ze nooit één woord tegen de Hongaren moest zeggen.
Maria Sophia verwachtte haar kind in december en de keizerin smeekte haar man om de koningin te mogen bijstaan bij haar bevalling, een kleine vergoedingnvoor de opoffering, dat ik hier alleen moet zitten en geen wraak kan nemen, terwijl jij gelukkig herenigd bent met je geliefde keizerin Eugénie en ten pleziere van haar de charmante keizer kunt spelen.
In afwezigheid van de keizer bracht ze haar tijd grotendeels door in Hongarije, vanwaar ze hem dagelijks schreef, om je te overtuigen, dat ik voortdurend aan je denk, al heb ik niets vermakelijks te vertellen. Ook Frans Josef schreef haar iedere dag. Hij beschreef de luisterrijke ontvangst in Constantinopel, waar sultan Abdul Aziz een allercharmantste gastheer was, terwijl zijn stallen met meer dan achthonderd paarden en een hele menagerie van wilde dieren de mooiste waren die hij ooit had gezien.
In de eerste dagen van december hadden Frans Josef en Elisabeth en korte ontmoeting in Miramare, hij op weg naar huis uit het Oosten, zij op weg naar Rome. Men zou gedacht hebben dat ze een plaats met zulke droevige herinneringen zouden hebben gemeden, maar zowel de keizer als de keizerin schijnen vreemd ongevoelig te zijn geweest in dat opzicht. De aankomst van de keizerin in Rome viel samen met de opening van de Oecumenische raad in 1869. Hoewel ze incognito heette te reizen, maakte ze gebruik van het recht de opening in de dom van St-Pieter bij te wonen op de tribune, gereserveerd voor regerende vorsten. "Men keek uit over een oceaan van mijters, schreef ze Frans Josef , maar één bezoek was meer dan genoeg. Haar incognito bespaarde haar niet een staatsbezoek aan het Vaticaan, waar zijne heiligheid Pius IX spraakzaam en beminnelijk was, maar aangezien hij alleen Italiaans sprak, begreep ik niet veel wat er gezegd werd en al dat rondkruipen op je knieën trof mij als heel komiek.
In Rome genoot Elisabeth het meest van dwalen door de straten en het bezoeken van musea, vergezeld door een jonge graaf , Visconti die aan haar gevolg was toegevoegd en die ze intelligent en sympathiek vond.
Intussen schonk Maria Sophia op de kerstnacht het leven aan een dochtertje. Deze dag was ook de geboortedag van de Keizerin en opnieuw betoonde Elisabeth zich een zeer toegeweide zuster. Ze bleef bij haar gedurende haar lange, moeilijke bevalling en werd ten slotte zelf ziek van het ronddwalen door de koude, tochtige kamers in haar dunne kamerjapon. Haar ontroerende onzelfzuchtigheid tegenover haar zuster staat in scherp contrast met de zelfzucht tegenover haar man en zelfs tegenover haar zoon, die ze regelmatig maandenlang alleen liet met zijn leermeesters, terwijl de nerveuze, gevoelige ongen haar hard nodig had.
Van Rome ging de keizerin regelrecht naar Boedapest. Daarna volgde een snel bezoek aan Wenen en vervolgens trok ze met haar twee dochters naar Meran voor de winter, terwijl Rudolf in Wenen bleef bij zijn vader. De twaalfjarige kroonprins barste in tranen uit toen hij afscheid nam van zijn zusters. Rudolf schreef een pathetische en enigszins pedante brief aan zijn grootmoeder: Dus moet die arme papa in deze moeilijke tijd weer gescheiden zijn van lieve mama. Ik ben maar al te gelukkig met de taak de enige steun te zijn van mijn liefste papa.
In het jaar 1870 was. de val van het Franse keizerrijk. De ramp van Sedan maakte een einde aan de Oostenrijkse hoop om wraak te kunnen nemen op Pruisen. Van nu af aan had Franz Josef geen alternatief dan het aanbod van een bondgenootschap van Bismarck aan te nemen en de nieuwe regeling te erkennen met Koning Wilhelm als keizer van een verenigd Duitsland, waarin Oostenrijks voormalige bondgenoten, Wurtemberg, Beieren en het loyale Saksen hun soldaten moesten geven om te strijden en te sneuvelen in Bismarcks oorlogen. Het was vooral bitter, toen de Beiers, die hadden gevochten in 1866, zich in 1870 als helden gedroegen. Zodat aartshertogin Sophia opmerkte, vergoten zij hun bloed als echte duitse domkoppen voor de volkomen vernietiging van hun onafhankelijkheid en autonomie. In de triomf van Bismarck zag de aartshertogin de ineenstorting van de krachtige unitare monarchie, die zij gesticht had met de hulp van Schwarzenberg en Bach, een groter Oostenrijk, dat de Duits sprekende volken bestierde van de Adriatische zee tot de Noordzee. Köningsgratz betekende het einde van haar politieke invloed. Sedan betekende de vernietiging van haar levenswerk. De laatste slag kwam toen de anti-Pruisische graaf Beust geofferd werd op het altaar van de nieuwe Oostenrijkse-Duitse vriendschap en Julius Andrássy, de rebel van 1849, zijn plaats innam als Oostenrijks-Hongaarse Minister van buitenlandse zaken, een gepaste benoeming vonden de critici, nu Wenen immers niet meer was dan de hoofdstad van de Balkan.