Josep Xifré va fer construir els icònics pòrtics del passeig d'Isabel II que acullen el restaurant des del segle XIX

L’edifici va ser construït per encàrrec de Josep Xifré i Cases. “Es diu que era l’home més ric d’Espanya, que va fer molts diners a Cuba i després se’n va anar a Nova York, es va casar amb la filla d’un banquer i encara va fer més diners. I quan va tornar a Barcelona es va trobar que encara hi havia les muralles envoltant la llotja i va aterrar a una ciutat que, juntament amb tot el país, amb Catalunya, ja estava immersa en la creació i consolidació de la revolució industrial”, explica el propietari actual, Francesc Solé Parellada. 

Va ser Xifré qui va fer dissenyar els anomenats Porxos d’en Xifré al passeig en qüestió, que imiten els del carrer de Rivoli de París. Se’n van construir un total de vuit: set de grans i un de més discret per al servei, i d’aquí ve el nom actual del restaurant.