Argosy grundades 1925 av Louis Cohen, som valde namnet bland annat för att det började med bokstaven “A” och skulle finnas med tidigt i telefonkataloger. Den låg ursprungligen i det gamla bibelhuset på Fourth Avenue’s berömda “Book Row”, flyttade till 114 East 59th Street på 1930-talet och flyttade sedan intill till sin nuvarande adress 1964 när den tidigare byggnaden ersattes av en skyskrapa. Cohens hustru, Ruth Shevin, förvaltade butikens konstgalleri ända in på 90-talet och arbetade med flera andra familjemedlemmar under årens lopp. Butiken drivs nu i tredje generationen av Cohens tre döttrar och ett barnbarn.

Sedan starten har Argosy arbetat med många prominenta kunder, bland annat president Franklin D. Roosevelt, som beställde böcker från en tidig katalog, och senare First Lady Jacqueline Kennedy, som behövde hjälp med att fylla Vita husets bibliotek med americana. President Bill Clinton har varit en regelbunden kund sedan ägarna återställde hans översvämningsskadade boksamling i Chappaqua, New York. Andra högt profilerade kunder har varit Michael Jackson, Stephen Sondheim, prinsessan Grace, Sally Field, Donatella Versace, Oriana Fallaci och Kevin Rudd. Patti Smith var kortvarigt anställd 1967.

I oktober 2012 drabbades Argosy av omfattande skador under orkanen Sandy, när tegelstenar lossnade från 32:a våningen i den intilliggande byggnaden och kraschade genom butikens tak. Den resulterande översvämningen påverkade de två översta våningarna och förstörde många historiska artefakter, bland annat kongresshandlingar undertecknade av Thomas Jefferson. Butiken återhämtade sig helt och hållet hösten 2013.