Близкие поэта обрушили на Ивинскую бурю негодования. Они обвиняли её в коварстве и подлости, заставляли расстаться с Пастернаком, требовали от него прекратить порочную связь. А Пастернак признавался одной из знакомых: «Я весь, и душа моя, и любовь, и моё творчество, всё принадлежит Олюше, а Зине, жене, остаётся один декорум, но пусть он ей остаётся, что-то должно остаться, я ей так обязан».

Его отношения с Ивинской всё-таки прекратились, когда осенью 1949 года её неожиданно арестовали. Женщине предъявили обвинение в том, что она якобы хотела убежать вместе с Пастернаком за границу и предпринимала для этого побега определённые меры. От неё требовали признать, что в переводах её любовника, которыми он занимался в то время, прослеживается «политическая неблагонадёжность» и клевета на советскую действительность. Несколько месяцев возлюбленная писателя провела в холодной и сырой камере, где её ежедневно подвергали пыткам, чтобы выбить признание.

Несмотря на то что женщина ждала ребёнка (Ивинская была беременна от Пастернака), её не жалели и обращались с чудовищной жестокостью. Так, после очередного допроса, Ольга Всеволодовна потеряла ребёнка.

Следствие закончилось, и её отправили в лагерь. Поэт тщетно ходил по инстанциям и просил выпустить возлюбленную из тюрьмы. Единственное, чем он смог помочь Ольге, это то, что долгих четыре года заботился о её детях и постоянно помогал им материально.

Ивинская вышла на свободу в 1953 году и опять вернулась к Пастернаку. К этому времени он перенёс инфаркт и, казалось, постарел на много лет. Его любовь стала ещё сильней, а отношение к любимой казалось более нежными и трепетными. Знакомой иностранной журналистке писатель рассказывал: «Её посадили из-за меня как самого близкого мне человека… Её геройству и выдержке я обязан своей жизнью и тому, что меня в те годы не трогали», а потом добавлял: «Лара моей страсти вписана в моё сердце её кровью и её тюрьмой…»