Fin dalla sua fondazione il Barbarigo ha sede nello storico palazzo dei conti Passera da Genova, nella medioevale “Contrada dei Rogati”, vicino alla casa natale del Palladio. Secondo i documenti il nobiluomo conte da Genova ebbe il permesso di costruirne le fondamenta, i “pilastri”, il 5 febbraio del 1500, terminando i lavori nel 1502.

La facciata è rimasta intatta nel corso di cinque secoli grazie alla resistenza dei materiali: il basamento, le lesene, i capitelli e la balaustra della trifora sono in trachite; il rivestimento a losanghe del pianoterra è invece in pietra d’Asiago bianca e rosa. Il progetto dell’edificio viene attribuito all’architetto Lorenzo da Bologna, attivo nel territorio padovano dal 1465 fino al 1508. Secondo il giudizio corrente Palazzo Genova costituisce un’opera interessante e rappresentativa del Rinascimento a Padova.

Sopra il portone di ingresso si legge una scritta in latino a caratteri romani che dà il benvenuto a coloro che entrano: Bonis Omnibus Pandana, “aperta a tutti i buoni”, che con il tempo è diventato uno dei motti dell’Istituto. L’attuale architettura del piano nobile e dello scalone risalgono a metà del ‘700, quando la residenza subì una profonda ristrutturazione. Dal portone, attraversato l’atrio, si giunge allo scalone d’onore, ornato da un parapetto a colonnine di pietra bianca e da un pergolo a due fornici che mettono in vista due grandi tele, una con l’effige di Sant’Andrea attribuita al Magonza (sec. XVII) e l’altra con la scena dell’incoronazione della Beata Vergine nell’empireo e l’estasi di San Giovanni Evangelista, attribuita al Minorello (sec. XVII). Il salone del piano nobile ha il pavimento in terrazzo veneziano ed il soffitto a travi dipinti. Nei quattro angoli si aprono quattro solenni portali in pietra con ante in legno massiccio e sul fronte nord un affresco rappresenta uno scalone che in prospettiva crea l’illusione di un prolungamento della sala.

Uno dei luoghi caratteristici dell’Istituto è il giardino, racchiuso dal quadriportico e adornato di una fontana, ombreggiata da otto palme giganti e aiuole verdi con alberi di melograni, olivi, ibischi, oleandri e altre piante ornamentali.