Когда Елизавета покидала кузена и возвращалась на родину, Людвиг занимался архитектурой. Всему миру известны великолепный замок и дворцы, построенные «сумасшедшим королём» — Нойшванштайн, Линдерхоф и Херренкимзее. Самый красивый из них — замок Нойшванштайн (Новый Лебединый Камень), строительство которого началось ещё в 1869 году в одном из красивейших мест баварских Альп. Замок стоит высоко над пропастью и поражает своей необычайной величественной красотой. Каждый зал замка расписан сценами из вагнеровских опер. Людвиг мечтал, что когда-нибудь композитор посетит этот шедевр архитектуры, посвящённый его гению. Нойшванштайн по праву считают самым «сказочным» замком на планете.

Однако на осуществление своих идей Людвиг тратил огромные суммы денег. Финансовые трудности его волновали меньше всего. Терпеть такое его министрам становилось не под силу.

Однажды к Людвигу в Нойшванштайн приехала комиссия психиатров из Берлина и сообщила, что намерена изолировать его и назначить лечение от тяжёлой психической болезни. Короля официально признали недееспособным и увезли в замок Берг. Это произошло в начале июня 1886 года. «Я признаю за лучшее подчиниться судьбе, — говорил Людвиг, уезжая из любимого замка. — Что меня лишают власти — это ничего, но я не могу пережить того, что меня делают сумасшедшим». Короля отстранили от престола.

Два доктора, Гудден и Мюллер, были приглашены лечить Людвига. Однако долго пробыть в замке бывшему баварскому королю было не суждено. На следующий день по прибытии в Берг, король попросил Гуддена прогуляться с ним вдоль озера. В тот же вечер на берегу озера Штарнберг были найдены два тела — пожилого психиатра и красавца-короля. До сих пор таинственная смерть Людвига II Баварского хранит множество загадок. По одной из версий, король готовил побег, он так и не смог перенести унижения.

В последний путь самого красивого и романтичного короля XIX столетия провожала огромная толпа народа. «Чудеснейший из королей», «последний романтик столетия» навсегда вошёл в память баварцев, которые до сих пор отзываются о нём как о самом прекрасном, удивительном и добрейшем правителе.