Das Museum entstand 1966 (der Trägerverein bereits 1962) auf Initiative von Gulbranssons Witwe Dagny Björnsson-Gulbransson, mit Bundespräsident Theodor Heuss und Bundeskanzler Ludwig Erhard als Schirmherren. Architekt Sep Ruf entwarf den Pavillonbau mit offenem Atrium.
2023 wurde die Präsentation neu gestaltet und zeigt Gulbransson seither auch in seiner Vielschichtigkeit — einschließlich seines Opportunismus während der NS-Zeit. Die Walter-Kames-Stiftung ergänzt die Sammlung um mehr als ein Drittel des lithografischen Werks von Honoré Daumier.