Az Argosy-t 1925-ben Louis Cohen alapította, aki részben azért választotta ezt a nevet, mert az “A” betűvel kezdődött, és korán szerepelt a telefonkönyvekben. Eredetileg a régi Biblia Házban működött a Fourth Avenue híres “Book Row”-ján, majd az 1930-as években a 114 East 59th Streetre költözött, majd 1964-ben, amikor az előző épületet felhőkarcolóval helyettesítették, a jelenlegi címére költözött a szomszédba. Cohen felesége, Ruth Shevin 90 éves koráig vezette az üzlet művészeti galériáját, és az évek során több más családtaggal is együtt dolgozott. Ma már a harmadik generációs családi tulajdonban van, az üzletet Cohen három lánya és egy unokája működteti.

Az Argosy megalakulása óta számos prominens ügyféllel dolgozott együtt, köztük Franklin D. Roosevelt elnökkel, aki egy korai katalógusból rendelt könyveket, és később Jacqueline Kennedy first ladyvel, akinek segítségre volt szüksége a Fehér Ház könyvtárának amerikai könyvekkel való feltöltéséhez. Bill Clinton elnök azóta rendszeres vásárló, amióta a tulajdonosok helyreállították a New York-i Chappaquában található, árvíz által megrongált könyvgyűjteményét. További neves ügyfelek közé tartozott Michael Jackson, Stephen Sondheim, Grace hercegnő, Sally Field, Donatella Versace, Oriana Fallaci és Kevin Rudd. Patti Smith 1967-ben rövid ideig alkalmazottja volt.

2012 októberében az Argosy jelentős károkat szenvedett a Sandy hurrikán során, amikor a szomszédos épület 32. emeletéről téglák mozdultak ki, és átzuhantak az üzlet tetején. A keletkezett árvíz a legfelső két emeletet érintette, és számos történelmi műtárgyat, köztük a Thomas Jefferson által aláírt kongresszusi törvényeket is megsemmisítette. Az áruház 2013 őszére teljesen helyreállt.