La sede del Colegio de Médicos de Madrid ha ido cambiando a lo largo de los años: calle Barquillo, calle Mayor, Gran Vía, Esparteros, Alcalá, Príncipe de Vergara. Finalmente en 1970 se estableció en la calle Santa Isabel no 51, en un edificio propiedad del Ministerio de Educación y Ciencia, cedido al Colegio y compartido con el Instituto Nacional de Administración Pública (INAP).

El edificio, construido en 1831, fue sede del Real Colegio de Cirugía de San Carlos, posteriormente Facultad de Medicina de San Carlos; en 1997 fue declarado bien de interés cultural en la categoría de monumento. Ha tenido sucesivas reformas de conservación y modernización, para convertirse en un centro en el que tienen cabida actividades profesionales, científicas y culturales. Sus actuales instalaciones: el Gran Anfiteatro (en su día Aula Magna de la Facultad de Medicina, que se conserva tal como fue concebida originalmente, a imagen de la Escuela de Cirugía de París de Jacques Gondouin), el Pequeño Anfiteatro, las aulas "Ramón y Cajal", "Jiménez Díaz", "Gregorio Marañón", "Severo Ochoa" y "Teófilo Hernando", así como la Antigua Biblioteca, están adaptadas a las necesidades de proyección social y de difusión de los conocimientos médicos.