Вокруг Фреда и Джинджер распространялись всевозможные слухи. Многие считали, что партнёры ненавидели друг друга, а Роджерс и вовсе злилась на Астера, поскольку в танце он намного превосходил её. Улыбчивая Джинджер, смеясь, отрицала это, однако никогда о личных отношениях с Астером не распространялась. Настойчивый и увлечённый Фред часто доводил партнёршу до изнеможения. Рассказывали, что однажды он был недоволен её танцем и несколько часов требовал от Роджерс повторять движения. В тот вечер туфли танцовщицы были полны кровью, однако она, кусая губы от боли, молча выполняла приказания партнёра.

Некоторые полагают, что танцоры были любовниками. Ни Астер, ни Роджерс эти слухи не опровергали, но и ничего не рассказывали о своих взаимоотношениях. Когда они встретились в первый раз, Фред был женат, а у Джинджер в то время стремительно развивался роман с известным режиссёром Мервином Ле Роем. Однако отношения партнёров были неоднозначными. Они то ссорились, бурно выясняя отношения, то расставались на время, то потом опять возвращались друг к другу и в очередной раз танцевали на глазах у тысячной публики, заставляя замирать зрителей от восторга. Танцовщица пять раз выходила замуж, и трое из её супругов были известными голливудскими актёрами.

Официально Фред и Джинджер расстались в 1939 году, а через год танцовщица получила свой первый и единственный «Оскар» за фильм «Китти Фойл».

Последний раз они соединились в 1949 году, когда снимались в цветной кинокартине «Семья Баркли с Бродвея». Это была их десятая совместная музыкальная комедия. В том же году Астер был награждён премией «Почётный Оскар». После этого у него были новые роли, он стал менять партнёрш по кино, а Джинджер постепенно уходила в тень. Её карьера подходила к концу, так как фильмы, где она снялась без Фреда, не имели столь ошеломляющего успеха. Последний раз Роджерс сыграла в фильме «Харлоу» в 1965 году, а потом полностью отдалась работе в театре и на телевидении.