Увидев красавицу Софи, Людвиг и в самом деле на время забыл о Елизавете. Во дворце уже готовились к предстоящей свадьбе, когда король неожиданно разорвал помолвку, прислав Софи письмо, в котором написал: «Я Вас люблю любовью брата». Что послужило причиной разрыва, до сих пор остаётся загадкой. Оскорблённая Софи покинула Мюнхен.

О странностях баварского короля стали ходить противоречивые слухи. Он избегал людей, иногда неделями не выходил из своей комнаты, не показывался слугам. Из замка чудаковатый король выходил лишь по ночам, и местные крестьяне могли видеть, как во тьме возле озера бродил человек в тёмной одежде. Жители прозвали его «горным духом», но прощали своему покровителю любые странности. Ведь именно с ними он был всегда приветлив и каждому при встрече крепко пожимал руку.

Король всё чаще предавался мечтам о покупке маленького необитаемого острова на краю света, вдалеке от светского шума и недоброжелателей. Но его мечта так и не была осуществлена: казне не хватало средств на покупку целого острова. Людвиг II всё чаще оставался один. О его женитьбе приближённые уже не заговаривали. Баварский король хранил верность любимой кузине Елизавете.

Она была единственной, кто никогда не считал его безумцем. Елизавета отвергала все предположения врачей относительно его психической болезни, а странности объясняла мечтательной и романтичной натурой кузена.

Австрийская императрица тяготилась роскошью императорского двора и путешествовала по свету. За любовь к скитаниям современники называли её «странствующей императрицей». В самом деле, Елизавета избегала шумных балов и приёмов, часто уединялась в личных покоях, читала и мечтала о новых путешествиях. Возвращаясь из разных стран, она останавливалась у своего кузена в Баварии и подолгу гостила в его замках. Тогда Людвиг преображался: на его лице появлялись радость и умиротворение. Некоторые полагали, что её связь с двоюродным братом не была платонической, и родственников связывали якобы совершенно иные отношения. Однако этот факт так и не нашёл подтверждения.