Knihkupectví Argosy založil v roce 1925 Louis Cohen, který si tento název vybral mimo jiné proto, že začínal na písmeno “A” a byl brzy uveden v telefonních seznamech. Původně sídlila ve starém biblickém domě na proslulé “knižní řadě” na Čtvrté avenue, ve třicátých letech se přestěhovala na 114 East 59th Street a poté se v roce 1964 přestěhovala vedle na současnou adresu, když byla předchozí budova nahrazena mrakodrapem. Cohenova manželka Ruth Shevinová vedla galerii obchodu až do svých devadesáti let a v průběhu let spolupracovala s několika dalšími členy rodiny. Nyní obchod vlastní již třetí generace rodiny a provozují ho Cohenovy tři dcery a vnuk.

Od svého vzniku Argosy spolupracoval s mnoha významnými zákazníky, včetně prezidenta Franklina D. Roosevelta, který si objednal knihy z prvního katalogu, a později první dámy Jacqueline Kennedyové, která potřebovala pomoci se zásobováním knihovny Bílého domu amerikanistikou. Prezident Bill Clinton je pravidelným zákazníkem od doby, kdy majitelé obnovili jeho povodní poškozenou sbírku knih v Chappaqua ve státě New York. K dalším významným zákazníkům patřili Michael Jackson, Stephen Sondheim, princezna Grace, Sally Field, Donatella Versace, Oriana Fallaci a Kevin Rudd. V roce 1967 byla krátce zaměstnancem i Patti Smithová.

V říjnu 2012 utrpělo Argosy rozsáhlé škody během hurikánu Sandy, kdy se z 32. patra přilehlé budovy uvolnily cihly a prorazily střechu obchodu. Následná povodeň zasáhla dvě nejvyšší patra a zničila mnoho historických artefaktů, včetně aktů Kongresu podepsaných Thomasem Jeffersonem. Obchod se do podzimu 2013 plně zotavil.