Médecin, membre de sociétés savantes, peintre amateur et graveur, le docteur Gachet achète une maison à Auvers-sur-Oise en 1872. Il y installe une presse sur laquelle il dessine et grave en compagnie de Cézanne, Pissarro et Guillaumin.
En 1890, à la demande de Pissarro, Paul Ferdinand Gachet - spécialiste en psychiatrie - accueille Vincent Van Gogh à son arrivée à Auvers. Van Gogh immortalise le docteur Gachet en réalisant trois fois son portrait: deux tableaux et une eau-forte. La cour ombragée de tilleuls résonne encore des déjeuners autour de la table vermillon immortalisée par Vincent Van Gogh dans les portraits du Docteur Gachet.
Inscrite avec le jardin à l'inventaire supplémentaire des Monuments Historiques en 1991, la maison, achetée par le Conseil Départemental du Val d'Oise en 1996, a ouvert ses portes au public en 2003, pour fêter le 150ème anniversaire de la naissance de Van Gogh. La collection de peintures et de gravures du médecin a été donnée à l'Etat par ses enfants Paul Louis et Marguerite mais les papiers peints anciens portent encore la marque des accrochages passés.