El Gremi de Velers, des de la seva constitució al 1533 i fins al S. XVII, es reunia a l’església de Santa Anna. A finals d’aquest segle van traslladar-se al Convent de Santa Caterina, on actualment hi ha el mercat del mateix nom. L’any 1757 s’acordà construir un edifici social, adquirint dues cases i un casalot, limitades pels carrers Sant Pere Més Alt, Voltes de Jonqueres i Riera de Sant Joan. Allà es va construir l’any 1763 el que és avui l’edifici social del Col•legi, sota la direcció i projecte de Joan Garrido. A la cantonada de l’edifici es va instal•lar una imatge de la Mare de Déu dels Àngels, obra de l’escultor Joan Enric.

De l’edifici cal destacar els esgrafiats de les façanes que, representant atlants i cariàtides, estan considerats els més importants del barroc català a la ciutat de Barcelona. També destaca la Sala Gremial, un dels espais més amplis i notoris de Ciutat Vella, igualment d’estil barroc català.

L’edifici va ser declarat monument arquitectònic - artístic d’interès nacional pels seus esplèndids esgrafiats, per Reial Ordre de 2 de juny de 1919. L’any 1928 es va restaurar i ampliar sota la direcció tècnica de l’arquitecte Jeroni Martorell.

Entre els anys 2000 i 2008 s’ha portat a terme la rehabilitació de les dependències del Col•legi, totes les sales i salons, mobiliari i fusteries, tapisseries, pergamins, i l’exterior de l’edifici amb la neteja i restauració de les façanes, els esgrafiats, porticons, balconades, el terrat i el vestíbul.