Door een ingrijpende reorganisatie van de schutterijen in het laatste kwart van de zeventiende eeuw werd de stedelijke verzameling op spectaculaire wijze uitgebreid met de zestiende-eeuwse zilverschat van de drie Amsterdamse schuttersgilden, bestaande uit drinkhoorns, schuttersketens en een scepter. Ook de schuttersstukken uit de doelengebouwen, waaronder Rembrandts 'Nachtwacht', werden overgebracht naar het stadhuis op de Dam.
Aan het einde van de achttiende eeuw werden de gilden afgeschaft en in de volgende decennia werden tal van stedelijke instellingen opgeheven of danig gereorganiseerd. Kunstbezittingen van deze oude instituten werden meestal overgedragen aan het stadsbestuur. Het betrof veelal portretten van regenten, schutters en gildenleden en voorwerpen voor speciale gelegenheden vervaardigd en geïnspireerd op de functie van de betreffende instelling.