Encouragé par Victor Hugo et par Théophile Gautier, il se consacre à la poésie, fréquente les milieux littéraires les plus anticonformistes et se lie d’une solide amitié avec Baudelaire, avec lequel il partage le mépris d’une certaine poésie officielle et commerciale, adversaire résolu qu'il est de la nouvelle poésie réaliste et ennemi de la dérive larmoyante du romantisme. Ses Odelettes et ses Odes funambulesques (1857) lui apportent la consécration et marquent une évolution vers plus de souplesse et de charme.