The Argosy werd in 1925 opgericht door Louis Cohen, die de naam deels koos omdat deze met de letter “A” begon en zo vroeg in telefoongidsen zou worden vermeld. Oorspronkelijk gevestigd in het oude Bijbelhuis op Fourth Avenue’s beroemde “Book Row”, verhuisde het naar 114 East 59th Street in de jaren 1930 en vervolgens naar het huidige adres in 1964 toen het vorige gebouw werd vervangen door een wolkenkrabber. Cohens vrouw, Ruth Shevin, beheerde de kunstgalerie van de winkel tot ze 90 was en werkte in de loop der jaren samen met verschillende andere familieleden. Nu in de derde generatie van familiebezit, wordt de winkel gerund door Cohen’s drie dochters en een kleinzoon.

Sinds de oprichting heeft de Argosy gewerkt met veel prominente klanten, waaronder president Franklin D. Roosevelt, die boeken bestelde uit een vroege catalogus, en later First Lady Jacqueline Kennedy, die hulp nodig had om de bibliotheek van het Witte Huis te bevoorraden met Americana. President Bill Clinton is een vaste klant sinds de eigenaren zijn door overstromingen beschadigde boekenverzameling in Chappaqua, New York, hebben gerestaureerd. Andere vooraanstaande klanten waren Michael Jackson, Stephen Sondheim, prinses Grace, Sally Field, Donatella Versace, Oriana Fallaci en Kevin Rudd. Patti Smith was kort een werknemer in 1967.

In oktober 2012 leed de Argosy uitgebreide schade tijdens orkaan Sandy, toen bakstenen loskwamen van de 32e verdieping van het aangrenzende gebouw en door het dak van de winkel stortten. De overstroming trof de bovenste twee verdiepingen en vernietigde vele historische artefacten, waaronder door Thomas Jefferson ondertekende congresakten. De winkel was in de herfst van 2013 weer volledig hersteld.