Il naît en 1864 en Mayenne et connaît une enfance plutôt malheureuse. À deux ans ses parents déménagent à Chitry-les-Mines. De 1875 à 1881, il fait ses études au lycée de Nevers. 

Il monte à Paris où il fréquente les cafés littéraires et commence à écrire Crime de village (1888). Sa situation miséreuse s’améliore après son mariage en 1889. Il fonde avec Vallette le Mercure de France pour lequel il écrit articles et critiques littéraires regroupés, en 1890, dans Sourires Pincés. L’année suivante il commence sa collaboration au Gil Blas. 

En 1894 il publie son œuvre la plus connue, Poil de Carotte inspiré de sa propre enfance. Suit Histoires naturelles en 1896, puis Le Plaisir de rompre en 1898. 

En 1900, il est élu conseiller municipal de Chaumot, où il passe plusieurs mois par an, et obtient la légion d’honneur. Il continue d’écrire et notamment Comédies, en 1904. La même année il devient maire de Chitry-les-Mines. En 1907, il est élu à l’Académie Goncourt. 

Après sa mort, survenue en 1910, sont publiés plusieurs de ses ouvrages, notamment en 1919 Les Cloportes.