A palota felépítésére egy amerikai biztosítótársaság, a New York Life Insurance Company adott megbízást Hauszmann Alajosnak, aki Korb Flóris és Giergl Kálmán közreműködésével tervezte meg az 1894. október 23-án megnyitott négyemeletes, eklektikus stílusú palotát és a földszintjén helyet foglaló kávéházat. A külső szobrok és szobordíszek, a kávéházi portált koronázó tizennégy faunalak Senyey Károly műve.
Az épület átadásával egy időben nyílt meg a földszinten a historizáló berendezésű New York kávéház. Pazar belső tere szintekre és több, egymástól csavart oszlopokkal elkülönített térre tagozódik. A bejáratnál szökőkút várta a vendégeket, a termekben velencei csillárok függtek. A karzatra vezető lépcsőt bronzszobrok díszítették, a mennyezetfreskók pedig Mannheimer Gusztáv és Eisenhut Ferenc munkáját dicsérték. Volt külön női szála („Hölgyterem”), ezenkívül egy-egy játék- és biliárdterem („Mélyvíz”) is.
A cigány- és katonamuzsikát adó zenés kávéházat eredetileg előkelő, tehetős vendégeknek szánta az első bérlő, Steuer Sándor, de csakhamar a főváros legnépszerűbb találkozóhelye lett. Korabeli pesti anekdota szerint a megnyitó napján pesti bohémek (nevezetesen Molnár Ferenc[1]) a Dunába dobták a kávéház kulcsait, hogy az éjjel-nappal nyitva legyen, ez azonban nem igaz, Molnár ekkor még csak 16 éves volt. Irodalmi kávéházi rangját azonban csak akkor nyerte el, amikor 1900-ban Harsányi Adolf és fivére vette át a New York vezetését. A legendás főpincér, Reisz Gyula ingyen „kutyanyelvet” (hosszúkás jegyzetpapírt) és itatóst is felszolgált az irodalmároknak. A kávéház tulajdonosai lexikonokat, alapkönyveket hozattak a kávéházba, előfizettek a legfontosabb hazai és külföldi lapokra, ezenfelül pedig a pincében hordószámra állt az antracéntinta.
Hamarosan kialakultak az irodalmi és művészi asztaltársaságok. A kávéház fölött, az épület első emeletén volt az írók és újságírók Otthon Köre. A Pesti Napló asztalánál ült Bródy Sándor, Nagy Endre és Kemény Simon. A karzaton foglaltak helyet a későbbi nyugatosok Osvát Ernő, Heltai Jenő, Herczeg Ferenc, Ignotus és Ady Endre vezetésével, de 1908-tól pár évig itt is szerkesztették a folyóiratot (később áttették törzshelyüket a Centrál kávéházba). Molnár Ferenc, Krúdy Gyula, Móricz Zsigmond, Kosztolányi Dezső és Karinthy Frigyes itt írták meg első zsengéiket. Az ún. veseasztalt ülték körbe a kor irodalomesztétái, kritikusai Szomaházy István vezetésével. A képzőművészek által „Nyehó”-nak hívott kávéházban járt össze 1907után a Magyar Impresszionisták és Naturalisták Köre (MIÉNK) Szinyei Merse Pál vezetésével, sőt, Herman Lipót vagy Szigethy István a New Yorkban is állították ki műveiket. Az 1910-es években a színházi és a filmes szakma is megtalálta a kávéházat: a New York asztaltársaságainak egyikéhez tartozott a később filmes világkarriert befutó Korda Sándor és Kertész Mihály, de komponált a New York asztalainál Kacsóh Pongrác és Huszka Jenőis. Itt indította el és szerkesztette Korda Sándor az első magyar moziújságot, a Pesti Mozit, amelybe Karinthy, Kosztolányi, Gábor Andor és Somlyó Zoltán is írt cikkeket. A közeli színházak társulatai itt tartották premier- és jubileumi bankettjeiket, de itt volt a nagy színész-asztaltársaság is Újházi Ede és Beöthy László „elnökletével”.
1913-ban a Harsányi fivérek átadták a kávéházat új bérlőknek, de az többször is gazdát cserélt, és az első világháborút követően irodalmi rangja is megkopott, a legtovább a képzőművészek maradtak hűek a New Yorkhoz. 1920-ban Tarján Vilmos vette át az üzemeltetést, akinek vezetése alatt a "mélyvízben", a biliárdasztalok helyén az arisztokráciát vonzó éttermet, hátul pedig bárt alakítottak ki, és a kávéház a fővárosi éjszakai élet egyik központjává vált. A helyiséget még fényűzőbbé alakíttatta, a bárba csak estélyiben volt szabad belépni. Tarján bérelte a közeli Royal Orfeumot is, és az ő nevéhez fűződik a legelső budapesti eszpresszó megnyitása (a Royal szálló földszintjén, 1926). Tarján az üzlet fellendítése érdekében nem idegenkedett a meglepő reklámfogásoktól sem: egy alkalommal egy Pesten vendégszereplő revü fókaidomárját rávette, hogy reggelijét fókája társaságában költse el a New York kávéház ablakában. Az étteremben Berkes Bélacigányzenekara szolgáltatta a muzsikát, a bárban magyar és külföldi dizőzök léptek fel. Tarján 1925-ben egy hónapra szerződtette az afroamerikai Eddy South dzsessz-zenekarát. A rendőrséget kellett kivezényelni a New Yorknál kialakult tolongáshoz, akkora érdeklődést keltett a pestiek körében az új attrakció.
Miután Tarján 1936-ban csődbe ment, a kávéházat áprilisban átadta, de az egyre kevésbé látogatott, s a második világháborúban megsérült intézményt 1947-ben bezárták. Ezután sportszerüzletként és IBUSZ utazási irodaként funkcionált, majd 1954-ben Hungária néven újra megnyitotta kapuját a vendégek előtt. A ház ekkor „sajtópalotaként” működött, számtalan szerkesztőséggel. A fenntartók igyekeztek újrateremteni irodalmi kávéház jellegét, de a New York kávéház századfordulós fénykora már nem tért vissza. Az 1990-es években itt ülésezett rendszeresen a 2000 című folyóirat szerkesztősége.
2011-ben és 2013-ban elnyerte a Világ legszebb kávéháza címet.
A New York Kávéház ma inkább turista látványosság, ahol sokan még budapestiként sem jártak soha, pedig egy időben nemhogy magyarok törzshelye volt, hanem egyenesen az irodalmi élet középpontja volt.
