El Gremi de Velers, desde su constitución en 1533 y hasta el S. XVII, se reunía en la iglesia de Santa Anna. A finales de este siglo se trasladaron al Convento de Santa Catalina, donde actualmente está el mercado del mismo nombre. En 1757 se acordó construir un edificio social, adquiriendo dos casas y un caserón, limitadas por las calles Sant Pere Més Alt, Voltes de Jonqueres y Riera de Sant Joan. Allí se construyó el año 1763 lo que es hoy el edificio social del Colegio, bajo la dirección y proyecto de Joan Garrido. En la esquina del edificio se instaló una imagen de Nuestra Señora de los Ángeles, obra del escultor Joan Enric.

Del edificio cabe destacar los esgrafiados de las fachadas que, representando atlantes y cariátides, están considerados los más importantes del barroco catalán en la ciudad de Barcelona. También destaca la Sala Gremial, uno de los espacios más amplios y notorios de Ciutat Vella, igualmente de estilo barroco catalán.

El edificio fue declarado monumento arquitectónico - artístico de interés nacional por sus espléndidos esgrafiados, por Real Orden de 2 de junio de 1919. En 1928 se restauró y amplió bajo la dirección técnica del arquitecto Jeroni Martorell.

Entre los años 2000 y 2008 se ha llevado a cabo la rehabilitación de las dependencias del Colegio, todas las salas y salones, mobiliario y carpinterías, tapicerías, pergaminos, exterior del edificio con la limpieza y restauración de las fachadas, los esgrafiados, contraventanas, balcones, la azotea y el vestíbulo.