Johan Goll van Franckenstein (1756-1821) erfde van zijn vader een groot vermogen, een kunstkabinet en de buitenplaats Velserbeek. In 1792 kocht hij het pand op de Keizersgracht 313. Daar ontving hij één keer per week kunstenaars, die zijn verzameling kwamen bestuderen. Via de verzamelingen van Fodor en Van Eeghen, heeft het museum enkele tekeningen uit de collectie van Goll van Franckenstein in de collectie.
Op de achterzijde van de bel-etage bevond zich de voornaamste kamer van het huis. Lange tijd is gedacht dat Jean François de Neufforge de ontwerper van dit vertrek was. Dit stond namelijk in de latere veilingaankondiging. Gezien het feit dat er vrijwel geen betimmeringen bestaan die door hem ontworpen zijn, maar slechts interieurs die ontleend zijn aan zijn voorbeeldboeken, is dit erg onwaarschijnlijk.
Het interieur is zachtgroen van kleur met vergulde accenten. Langs alle wanden is er een pilasterstelling met Korinthische kapitelen. Deze steunen op de naar voren stekende lambrisering. De schouw van wit marmer heeft aan beide kanten een gekleurd marmeren zuil, hierop rust een gebeeldhouwd fries met engeltjes. Hierboven is een spiegel en een schilderstuk van Jurriaan Andriessen waarop een allegorie van de herfst en winter afgebeeld is. De tegenover liggende wand heeft een zelfde soort spiegel met daarboven een schilderstuk. Mogelijk is dit een allegorie van de lente en zomer.
Het derde schilderstuk bevindt zich boven de dubbele deur. Op een halfrond paneel heeft Andriessen de personificaties van de Deugd en de Waarheid afgebeeld. Dat Jurriaan Andriessen zijn opdrachtgever goed kende is af te leiden van één van de dagboektekeningen van zijn zoon Christiaan Andriessen, waarvan de titel luidt: ’29 dec Kunstbeschouwing bij den heer Goll van de Jan Luikens (1807 of 1808) 52 week’.
In de 19de eeuw zijn er decoratieve behangsels toegevoegd naar een ontwerp van A.N. Godefroy waarop bloemen en urnen te zien zijn.
De weduwe van Johan Goll van Franckenstein woonde tot 1830 in het huis. Na verschillende bewoners werd het pand in 1914 gekocht door de firma R.S. Stokvis en Zonen Ltd, die het pand liet vervangen door een modern kantoorpand. Omdat het huis op de monumentenlijst stond werd het interieur veilig gesteld en te koop aangeboden bij veilinghuis Frederik Muller, daar heeft het jarenlang als veilingzaal dienst gedaan.
Door een gift van de heer C.H.F. Stemmler kon het Stedelijk Museum de betimmering in 1952 kopen, maar sindsdien is deze nooit in het museum opgesteld.