Argosy a fost fondată în 1925 de Louis Cohen, care a ales acest nume, în parte, pentru că începea cu litera “A” și ar fi fost listat devreme în anuarele telefonice. Situat inițial în vechea Casă a Bibliei de pe celebrul “Book Row” de pe Fourth Avenue, s-a mutat la 114 East 59th Street în anii 1930 și apoi s-a mutat alături la adresa actuală în 1964, când clădirea anterioară a fost înlocuită cu un zgârie-nori. Soția lui Cohen, Ruth Shevin, a administrat galeria de artă a magazinului până la vârsta de 90 de ani și a lucrat cu alți câțiva membri ai familiei de-a lungul anilor. Aflat acum la a treia generație de proprietate de familie, magazinul este administrat de cele trei fiice ale lui Cohen și de un nepot.

De la începuturile sale, Argosy a lucrat cu mulți clienți importanți, inclusiv cu președintele Franklin D. Roosevelt, care a comandat cărți dintr-un catalog timpuriu, și mai târziu cu prima doamnă Jacqueline Kennedy, care avea nevoie de ajutor pentru a aproviziona biblioteca Casei Albe cu cărți americane. Președintele Bill Clinton a fost un client obișnuit de când proprietarii i-au restaurat colecția de cărți deteriorată de inundații din Chappaqua, New York. Printre alți clienți importanți se numără Michael Jackson, Stephen Sondheim, Prințesa Grace, Sally Field, Donatella Versace, Oriana Fallaci și Kevin Rudd. Patti Smith a fost pentru scurt timp angajată în 1967.

În octombrie 2012, Argosy a suferit pagube importante în timpul uraganului Sandy, când cărămizi s-au desprins de la etajul 32 al clădirii adiacente și s-au prăbușit prin acoperișul magazinului. Inundația rezultată a afectat ultimele două etaje și a distrus multe artefacte istorice, inclusiv acte ale Congresului semnate de Thomas Jefferson. Magazinul și-a revenit complet până în toamna anului 2013.

.