Три года спустя, в 1773 году, художник вернулся в Мадрид, где встретил своего давнего друга Франсиско Байеу. Тот познакомил Гойю с сестрой, красавицей Жозефиной. Пылкая и страстная любовь привела вскоре к тому, что девушка забеременела, и не помышлявший о женитьбе Гойя был вынужден скрепить свои отношения с возлюбленной семенными узами. Всего жена подарила живописцу пятерых детей, однако вырос только Хавьер — другие дети умерли в младенчестве.

В 1792 году Гойя серьёзно заболел. Недуг, который сломил художника, до сих пор вызывает бесконечные споры среди биографов и врачей, исследующих его болезнь. Одни полагают, что это было венерическое заболевание, предположительно сифилис. Другие считают, что причиной паралича и потери слуха могли явиться маниакально-депрессивный синдром и шизофрения. Современники отмечали, что у художника наблюдались панический страх преследования, крайняя невоздержанность и даже истеричность, тяга к одиночеству и некоторые другие странности в поведении.

Около двух месяцев Гойя неподвижно лежал, затем у него восстановилось зрение, и он впервые за долгие недели страданий смог подняться на ноги и пойти. Однако слух был потерян навсегда. Тем не менее художник опять вернулся к своей прежней жизни.

Супружеская верность не была добродетелью великого мастера. Бесчисленные романы продолжались: их было столько, что иногда художник даже не помнил имени любовницы, с которой провёл ночь. Он покорял сердца знатных дам и бедных простушек, красавиц и обычных, ничем не приметных женщин. Казалось, это доставляло ему полное, ни с чем не сравнимое удовольствие.

Так продолжалось до тех пор, пока в жизни непревзойдённого любовника не появилась двадцатилетняя герцогиня Альба, ставшая самой желанной женщиной в жизни художника и самой роковой музой в его судьбе. Его познакомили с Каэтаньей Альбой придворные аристократки, бывшие близкими подругами мастера. Желающая увидеть своими глазами «необыкновенного Гойю», Альба пришла к нему в мастерскую. Она была высокомерна, красива, женственна и чувственна. После её визита, летом 1795 года, художник, не сдерживая чувств, рассказывал другу о встрече с новой знакомой и восклицал: «О, наконец теперь я знаю, что значит жить!»