Giambattista Della Torre, committente a Palladio nel 1555 della ristrutturazione delle case di contrada San Marco, il 31 marzo 1561 ottiene dalla Repubblica Veneta per benemerenze acquisite l’investitura dei diritti di un terreno ai Portoni della Bra’ in contrada Ferraboi, allora marginale alla città. Incarica quindi Palladio di elaborare un progetto, noto per la tavola del Trattato, di una residenza suburbana dotata di giardino. Palladio propone un edificio “in isola” dotato di quattro prospetti di cui il principale esaltato da una doppia loggia esastila a due ordini, ionico e corinzio, conclusa da timpano. L’idea resterà irrealizzata per l’intenso sviluppo dell’area, la cui destinazione era stata colta da Sanmicheli con l’urbanizzazione della cittadella viscontea e la triangolazione formale dell’invaso della Bra'. Il terreno, nonostante le disposizioni testamentarie di Giambattista Della Torre, viene ceduto dagli eredi al Comune, che nel 1604 l’affitta agli Accademici Filarmonici per erigervi la loro sede.