L’Argosy fu fondato nel 1925 da Louis Cohen, che scelse il nome, in parte, perché iniziava con la lettera “A” e sarebbe stato elencato presto negli elenchi telefonici. Originariamente situato nella vecchia Bible House sulla famosa “Book Row” della Fourth Avenue, si trasferì al 114 East 59th Street nel 1930 e poi si trasferì accanto al suo indirizzo attuale nel 1964 quando l’edificio precedente fu sostituito da un grattacielo. La moglie di Cohen, Ruth Shevin, ha gestito la galleria d’arte del negozio fino ai suoi 90 anni e ha lavorato con diversi altri membri della famiglia nel corso degli anni. Ora nella sua terza generazione di proprietà della famiglia, il negozio è gestito dalle tre figlie di Cohen e da un nipote.

Dal suo inizio, l’Argosy ha lavorato con molti clienti importanti, tra cui il presidente Franklin D. Roosevelt, che ha ordinato libri da un primo catalogo, e più tardi la First Lady Jacqueline Kennedy, che aveva bisogno di aiuto per rifornire la biblioteca della Casa Bianca con libri americani. Il presidente Bill Clinton è stato un cliente regolare da quando i proprietari hanno restaurato la sua collezione di libri danneggiata dalle inondazioni a Chappaqua, New York. Altri clienti di alto profilo sono stati Michael Jackson, Stephen Sondheim, la principessa Grace, Sally Field, Donatella Versace, Oriana Fallaci e Kevin Rudd. Patti Smith è stata brevemente un’impiegata nel 1967.

Nell’ottobre 2012 l’Argosy ha subito ingenti danni durante l’uragano Sandy, quando dei mattoni si sono staccati dal 32° piano dell’edificio adiacente e hanno sfondato il tetto del negozio. L’inondazione risultante ha colpito gli ultimi due piani e ha distrutto molti artefatti storici, compresi gli atti del congresso firmati da Thomas Jefferson. Il negozio si è ripreso completamente nell’autunno del 2013.