Познав десятки мужчин, слывя искушённой куртизанкой и прекрасной любовницей, Жюльетта поняла, что полюбила. Да так сильно, что дальнейшая жизнь её больше не интересовала. Ей был нужен только он — её «любимый Виктор». Она завладела его сердцем, научила его, тогда ещё робкого и нерешительного пуританина, любви и страсти. И уже спустя несколько месяцев актриса откровенно писала новому любовнику: «Я испытываю чудовищный голод по твоему телу, я советую тебе беречься моей ужасной любви…»

Спустя год после их встречи Гюго закончил новую повесть «Клод Ге», посвятив её Жюльетте. На титульном листе стояла надпись: «Моему ангелу, у которого растут крылья».

Совсем скоро об их романе заговорил весь Париж. Друзья пытались уговорить Виктора разорвать отношения с ветреной актрисой. Но Гюго, улыбаясь, отвечал, что теперь он «стал намного лучше, чем во времена своей непорочности». Он и не думал оставлять обворожительную красавицу.

Жюльетта Друэ, пожертвовав своей карьерой, покинула сцену, забыла о многочисленных поклонниках и уединилась в маленьком доме на улице Сент-Анастаз, чтобы отныне полностью посвятить свою жизнь возлюбленному.

Она стала тенью писателя, его ангелом-хранителем, рабыней, выполнявшей все желания своего господина. Жюльетта занималась личным архивом Гюго, переписывала рукописи, а когда писатель был изгнан из Франции на остров Гернси, не жена, а преданная любовница молча последовала за ним в ссылку.

Влюблённый Гюго, изнывая от ревности, часто превращался в тирана. Он не позволял любовнице выходить на улицу без сопровождения, заставлял её сидеть дома и дожидаться его прихода. Порой это ожидание длилось несколько дней, но Жюльетта покорно следовала всем указаниям Виктора. Она ждала и прощала. Она даже простила писателю недолгий, но страстный роман с молодой дворянкой Леони д'Онэ. В 1851 году новая пассия гения даже показала мадемуазель Друэ все письма, которые писал ей Гюго, чтобы доказать, что чувств у Виктора к Жюльетте больше нет. Но, пережив этот роман, Гюго опять вернулся к бывшей возлюбленной.