Antiguo colegio-convento de San Carlos Borromeo al que llamaron «de los Agonizantes» por un motivo no difícil de imaginar, y es que sus ocupantes eran religiosos comprometidos con el auxilio a quienes agotaban su tiempo de vida.

En 1870 fue reformado para aposentar al gobierno de la ciudad, convirtiéndose en la casa consistorial. Entre quienes, a lo largo de los años, contribuyeron a diseñar sus espacios, cabe destacar al arquitecto Adolfo Fernández Casanova.

La fachada es de estilo ecléctico y el salón de sesiones está decorado con estucos. Repleto de hermosos rincones, el edificio viene a ser una galería donde quedan resumidas la cultura y el arte locales. A ello contribuye la excelente colección que allá se cobija. Por ejemplo, en la Sala de Sesiones cabe admirar un repostero y su baldaquino, con fecha en el siglo XVII, e iluminados mediante las armas del marqués de Bedmar, quien fuera embajador del Reino de España en la Soberana República de Venecia. Con un sesgo aún más admirable, reposan tras una reja los seis volúmenes de la Biblia políglota complutense, mencionada en diversos apartados de esta muestra. Otro volumen histórico que se puede hallar en el Ayuntamiento es el Libro de bautismos de la Parroquia de Santa María la Mayor, donde queda registrado el nacimiento de Miguel de Cervantes.
   
Atención especialísima merece el despacho de la Alcaldía, dado que lo adornan dos tablas flamencas de los siglos XV y XVI: Virgen amamantado al Niño y Adoración de los Magos. La misma sala ofrece al visitante dos ejemplos de pintura histórica: La procesión de las Santas Formas (1896), de Félix Yuste, y Felipe III de Francia, moribundo (1862), de Manuel Ferrán. Al mismo género corresponden varios óleos de la planta noble, entre ellos ¡A la guerra! (1895), de Alberto Pla y Rubio; La reina María Cristina (1887), de Manuel Laredo, y Cisneros y los grandes (1864), de Víctor Manzano. Bien puede culminar esta visita en ese Salón Noble, cuyo estucado semeja las texturas del mármol, con medallones que retratan a personalidades históricas de la ciudad. 

En fechas recientes se procedió a la restauración de la fachada, dándole el aspecto que tiene en la imagen y por elcual ha pasado a ser conocido como la "Casa Rosa".