Szépséges falfestésével, frízes díszítésű, zárt sarokerkélyével a tekintetet azonnal magára vonja a jellegzetes, klasszikus épület, amelynek helyén a korabeli térképek és kutatások szerint több középkori lakóház állt. A mai épület magját képező házak a XV. századból valók. Az épület Buda visszafoglalásakor súlyosan megsérült, csupán oldalszárnyának külső falai maradtak meg emeletnyi magasságban, ezenkívül a kapualj és a mellette lévő helyiségek boltozatai. A XVIII. század első évtizedeinek kellett eljönnie az újjáépítéshez. A munka Weixelgärtner Mihály építőmester nevéhez fűződött. Új lépcsőházak, pincelejáró és a kora klasszicista architektúra emlékeztet erre a periódusra. A XIX. század építészetét is viseli a ház, ebből az időből való a Bécsi kapu téri homlokzaton a vörössel sávozott falfestés, amelyet 1959-ben a homlokzatkutatáskor tártak fel. Végül a múlt század harmadik évtizedében Abos Brúnó tervei adták meg a palota manapság ismert formáját.
Jellegzetessége a hengeres, frízdíszítéses, zárt sarokerkély és a tetőtér manzárdbeépítése, valamint az új kapuszárny.
Az épület helyreállításakor Velledits Lajos restaurátorművész vezetésével újították meg a közelmúltban a Bécsi kapu téri csíkos mintázatú biedermeier festést és a Kard utcai kváderes homlokzatfestést. A Kard utca felőli rész kváderköveket imitáló festésének színvilága középkori hangulatot idéz. Az épület sávos, biedermeier festése sok kérdést vetett fel. „A megmaradt töredékek alig nyújtottak támpontot a minták kiosztásához” – írta restaurátori tanulmányában Velledits. A festő-restaurátoroknak méretbeli, formai, szimmetriai, aszimmetriai kétségekkel éppúgy meg kellett küzdeniük, mint a motívumokra, a díszítésre és a színkompozícióra vonatkozó dilemmákkal.
A kőrestaurálás Pájer József nevéhez fűződik. Kívül a kapuzat kőlábazatának, a Kard utcai oldalon a középkori faragványoknak és a sarokkő domborításának, a zárterkély kőelemeinek a helyreállítása volt a feladat. A kapun belül sem csekély volt a munka. Restaurálták az előkerült kőtöredékeket, az egykori nagyterem tardosi márványoszlopait és a kandallót. S ott volt még a kandallóval szemközt befalazott, faragott tardosi ajtókeret kibontása, a kápolnaterem, a folyosó és a folyosóra vezető ajtó valamennyi kőkerete. Megújultak a folyosó mozaikjai, sor került a terrazzo konzerválására, illetve helyreállítására.
Az erkély alsó csíkjában körbefutó fríz középső motívumáról a kutatás során nyilvánvalóvá vált, az ábrázolat azt mutatja, ahogyan Erzsébet cárnő 1755-ben átadja gróf Esterházy Miklósnak a Szent András-rendet. Az 1930-as évekre datált plasztika születését alighanem az magyarázza, hogy a ház tulajdonosa a századforduló után galántai és fraknói gróf Esterházy Móric volt, aki jó ideig érintetlen szépségében lakta a házat. Gróf Esterházy örökös jogon főrendiházi tag volt, két hónapig miniszterelnök is, 1918-ban házasodott. Felesége, Károlyi Margit grófnő kívánsága volt, hogy a szalon mögötti szobából házi kápolna legyen. Amikor a házat az 1900-as évek első harmadában Abos Brúnó tervei alapján átépítették, akkor született a hengeres zárterkély, arra az időre tehető az új kapuszárnyak állítása, a tetőtér beépítése, a pinceszint átalakítása, az udvari toldaléképület, a garázs kialakítása.
A palota, mint annyi más társa, nem kerülhette el az államosítást. Tulajdonosát, akit 1944 őszén a Gestapo deportált, és miután hazatért a mauthauseni koncentrációs táborból, kitelepítették, a házat kétszobás lakásokra osztották, évtizedekig toldozták-foldozták. A ház históriájához tartozik, hogy udvarán 1946-ban, a törmelék alól csodával határos módon kibújt egy kis szőlőtő, amelyet az egyik akkori lakó, aki Károlyi Margit grófnő pártfogoltja volt, nevelgetett. A szőlőtő, ahogy néhány éve az asszony ott élő leánya elmesélte, ma a főváros egyedileg védett természeti értéke.
Az Esterházy-palotával szemközt, a Kard utca másik sarkán évtizedekig romos foghíj tátongott, mígnem 1998-ban megépült az a léptékében, tömegformálásban, stílusában, belső térkiképzésében a környezetbe finoman és elegánsan simuló apartmanház, amely a műemlékvédelem és a kortárs építészet szempontjából egyaránt példaértékű. A mai palota a tervezőépítész Reimholz Péter és a műemléképítész Korompay Katalin a történelmi múlthoz hűen ragaszkodó, a jelen korba illeszkedő remeke.
Az építkezést előkészítő ásatások, régészeti feltárások, falkutatások arról tanúskodnak, hogy már a XIII–XIV. században álltak itt épületek, amelyeket a XV. században építettek tovább. A legkorábbi maradvány a Fortuna utcai oldalon a déli szárny volt. Részben ezeken a középkori alapokon nyugszik a negyed zártsorú beépítéséhez igazodó, zárt belső udvaros sarokház, amely magába foglalja az egykori, két, törtkőből rakott, középkori ház földszintjének romjait. A Fortuna utcai oldalon az íves bejárati forma talán sosem volt errefelé, mégis a helyhez illő, a képbe simuló, mai építészeti elem. A régmúlt időről beszélnek a négyszögletes kőkeretes ablakok a Kard utcai homlokzaton. Az eredeti elemek, a középkori falmaradványok és a homogén, nyersszürke tégla épületrészek úgy válnak el érzékletesen egymástól, hogy közben finom építészeti jelekkel összekapcsolódva tökéletes egységet alkotnak. Múlt és jelen rétegei összesimulnak. A Kard utcai oldal szikárabb, a Fortuna utca felőli izgalmasabb, látványosabb. Az alkotók következetesen végiggondolt munkájáról vall a belső térkialakítás, az igényes anyaghasználat. S hogy Reimholz Péter milyen érzékenyen vigyázott arra, hogy háza vonalvezetésével illeszkedjék környezetéhez, jelenlétével ne zavarja meg annak egységét, mutatja a sarok „visszahúzása”, ezzel is erősítve a szemközti palota kiugró zárterkélyének dominanciáját.
Két egymásra tekintő, egymásra felelő palota a Várnegyed polgárvárosában, két (az egymásra épülő korokban annál jóval több) építési idő, amely szépen és példaértékű gesztusokkal érzékletesen bizonyítja, hamis az az állítás, amely azt mondja, nem tud együtt élni a műemlékvédelem és a kortárs építészet.
