Le Mhist est fondé le 2 mars 1927, sous le nom de la Société d’histoire des Cantons-de-l ’Est. Dès ses débuts, la Société d’histoire se donne une double vocation : la conservation du patrimoine local et régional ainsi que la diffusion de l’histoire de Sherbrooke et des Cantons-de-l ’Est.

Le 17 avril 1989, la Société d’histoire des Cantons-de-l ’Est devient la Société d’histoire de Sherbrooke. L’année suivante, elle reçoit des Archives nationales du Québec son agrément comme service d’archives privées. La mission de ce service est de conserver les collections d’archives, de les compléter et de les rendre accessibles au public et aux chercheurs.

En mai 1992, l’institution muséale s’installe sur la rue Dufferin, au Centre d’interprétation de l’histoire de Sherbrooke nouvellement créé. Le bâtiment patrimonial de style Second Empire, construit en 1885 pour loger le bureau des postes et des douanes, est propriété de la Ville de Sherbrooke. Le dynamisme, le professionnalisme, l’expertise de son équipe ainsi que la variété de ses activités de diffusion confirment sa particularité parmi ce type les Sociétés d'histoire.

C’est d’ailleurs pourquoi, en juin 2019, la Société d’histoire de Sherbrooke prend le nom de Mhist-Musée d’histoire de Sherbrooke, une appellation qui reflète davantage sa vision, sa réalité et ses activés. Passionnée et désireuse de faire connaître l’histoire régionale, l’équipe du Mhist propose une multitude d’activités diversifiées et innovantes, en salles ou hors les murs.

En novembre 2017, l’équipe du Mhist est lauréate du prix d’histoire du Gouverneur général pour l’excellence des programmes communautaires pour son événement l’Histoire fait son marché.