Однако хитрому и расчётливому интригану не долго пришлось продержаться при английском дворе. Злобно настроенные против него лорды решили изгнать наглого королевского любовника. Переманив на свою сторону молодую королеву, противники царствующего монарха заставили того подписать указ об изгнании Гавестона, а затем намеревались отстранить от власти и самого короля. Но когда монаршего фаворита выгнали из дворца, а потом и убили, Изабелла постаралась примирить лордов с Эдуардом и упросить тех не лишать трона её слабовольного супруга. Лорды и бароны, замешанные в убийстве королевского любовника, успокоились и не стали предпринимать против царствующего монарха решительных мер.

Изабелла, наконец, приблизила к себе мужа, а спустя год, 13 ноября 1312 года, подарила королю наследника. Однако тот, став отцом, не долго радовался счастливому событию. Он опять не появлялся в покоях супруги по несколько дней, а ночи предпочитал проводить у своих новых фаворитов. В 1320 году ими стали отец и сын Диспенсеры.

Изабелла, несчастливая в браке, в 1325 году решила навестить своего брата, Карла IV, и, взяв с собой тринадцатилетнего сына, отправилась на родину. Там она познакомилась с английским графом Роджером Мортимером (1287–1330), который проживал в то время во Франции, опасаясь вернуться на родину.

Несколькими годами раньше граф Мортимер был заключён в Тауэр за то, что состоял в партиях, которые пытались сместить Диспенсеров, фактически управляющих Англией. Спустя год ему удалось бежать из тюрьмы и тайно переправиться во Францию. Импульсивный, темпераментный и обаятельный красавец заставил холодную английскую королеву почувствовать себя настоящей женщиной. Он осыпал её подарками, восхищался безграничными талантами и умело очаровывал трезвую француженку.

Властолюбивая, проницательная, названная современниками «холодной королевой», Изабелла обладала к тому же совершенной красотой. Она была высока, грациозна, уверенна в себе и умела прекрасно держаться среди мужчин. Однако её надменность и холодность отталкивали тех и пугали. При дворе её сторонились, пытались редко попадаться на глаза и не перечить молодой королеве. Но Мортимер, напротив, всё чаще желал с ней встреч.