В 1572 году граф Лестер женился во второй раз. На этот раз его супругой стала вдова богатого английского барона — Дугласа Говарда. Венчание происходило втайне, однако спустя некоторое время слухи о женитьбе королевского фаворита дошли до самой Елизаветы. Оскорблённая, она заставила Лестера развестись с женой и никогда больше не вступать в брак с другой женщиной. Испуганный граф выполнил желание королевы и, разведясь, выдал миссис Дуглас замуж за другого. Однако, вопреки желанию Роберта, королева вовсе не желала становиться его супругой.

Почему она отказывалась выходить замуж даже за любимого ею мужчину, навсегда осталось загадкой царствования Елизаветы Тюдор. Одни считали, что «железная леди» не хотела делить власть с супругом, другие были убеждены, что она избегала замужества, зная о своём бесплодии, третьи даже говорили о якобы существовавшем тайном браке с Лестером, от которого королева будто бы родила сына.

Слухов ходило много, но в начале XX века появилось новое предположение, что Елизавета избегала мужчин, якобы зная о своих «физиологических особенностях», о которых однажды написала Мария Стюарт в своём знаменитом письме к Елизавете, где называла её «не такой, как все, женщиной, неспособной к браку». Так или иначе, и это предположение остаётся недоказанным.

Спустя три года, когда граф Лестер окончательно убедился, что Елизавета не намерена менять своего решения, он направил тайное письмо королю Испании Филиппу II. В послании говорилось о том, что, если испанский монарх поможет уговорить Елизавету выйти замуж за него, графа, тот, в свою очередь, обязуется до конца своих дней отстаивать исключительно испанские интересы. Тайный заговор, который равнялся государственной измене, стал известен Елизавете. Все ожидали наказания хитрого Лестера, задумавшего слишком опасную политическую интригу. Однако наказания не последовало. Королева предпочла забыть о происшедшем, но доверять возлюбленному всё-таки перестала. С тех пор её мучительные раздумья о возможном замужестве с графом больше не возникали.