Het Polderhuis was gelegen op de hoek van de huidige Stadhouderskade en Ruysdaelkade. Toen Hilverdink het in 1885 schilderde was dat nog een stadsrand. Het Polderhuis was eigendom van de polder waaraan het grensde en werd ondermeer gebruikt voor vergaderingen van de stemgerechtigde ingelanden. Tevens was het een populaire plek voor wandelaars om te verpozen en werd het door schippers bezocht die moesten wachten op de naastgelegen overhaal of sluis. Rechts op de achtergrond van het schilderij is de oprukkende nieuwbouw van de Weteringschans te zien. In 1885 werd ook het Rijksmuseum geopend, niet zichtbaar op het achterliggende terrein.

In 1924 zou het Polderhuis worden afgebroken, om plaats te maken voor het overpompgemaal van de riolering in De Pijp.