К тому же Шарль часто выдумывал о себе невероятные легенды, рассказывая окружающим, что состоит в любовных связях с мужчинами, презирает женщин и является тайным агентом. Говорил он о себе так красочно, что люди всерьёз верили в истории о якобы правдивых фактах его биографии, однако их автор лишь посмеивался недалёкости и доверчивости друзей и знакомых, продолжая придумывать другие небылицы.

Современники Бодлера отмечали, что он был слегка презрителен и самодоволен, а с женщинами обращался слишком надменно, словно бы специально создавая некий барьер. «Женщины — существа естественные, — нередко повторял поэт и добавлял, — другими словами, они омерзительны». Дам Шарль предпочитал сдержанных и равнодушных к любовным чувствам, однако нередко посещал публичные дома и проводил время с легкодоступными девицами. Делал это он, по его словам, якобы для того, чтобы заразиться болезнью, которая бы привела его к угасанию и бессилию. Этого Шарль так страстно желал, что, наконец, добился, заразившись сифилисом и ослабив своё здоровье наркотиками. Он культивировал страдания, душевную боль и одиночество, говоря, что «всегда чувствует близость бездны».

Поэт считал, что все его родственники были психически больны, и эта же участь не обошла и самого Шарля. Всю свою жизнь странный француз пытался доказать, что он перенял у предков признаки душевной болезни и не раз повторял: «Я превозносил свою истерию с наслаждением и ужасом».

Мысль о браке, детях и совместной жизни с женщиной вызывала в нём неподдельный страх. В 1844 году молодой человек познакомился с Жанной Дюваль, которая стала его любовницей на долгие двадцать лет и женщиной, вдохновившей поэта на создание сборника стихотворений «Цветы зла», изданного в 1857 году. Жанна — мулатка, со смуглым цветом лица, была невысокого роста, кареглаза и обладала роскошными, чуть вьющимися волосами. По рассказам друзей поэта, его новая подруга не являлась красавицей, более того, она была ограничена, меркантильна и поверхностна. Однако в Шарле эта женщина вызывала самые романтические чувства.