Dans le même temps, il gagne en simplicité dans Les Exilés (1867) ou Les Occidentales (1869). Mais il se détourne peu à peu de la poésie à la suite d’un violent désaccord avec le symbolisme. Il ressuscite de vieilles formes héritées du Moyen Âge, il rédige ses souvenirs dans l'Âme de Paris, puis dans Mes souvenirs (1882) et écrit des contes rassemblés dans Madame Robert (1887).

Gringoire. Il publie Les Exilés en 1867, recueil qu'il dédie à sa femme et qu'il considéra comme le meilleur de son œuvre.