L’Argosy a été fondée en 1925 par Louis Cohen, qui a choisi le nom, en partie, parce qu’il commençait par la lettre “A” et qu’il serait répertorié tôt dans les annuaires téléphoniques. Situé à l’origine dans l’ancienne Bible House sur la célèbre “Book Row” de la Quatrième Avenue, il a déménagé au 114 East 59th Street dans les années 1930, puis a déménagé juste à côté à son adresse actuelle en 1964 lorsque le bâtiment précédent a été remplacé par un gratte-ciel. La femme de Cohen, Ruth Shevin, a géré la galerie d’art du magasin jusqu’à ses 90 ans et a travaillé avec plusieurs autres membres de la famille au fil des ans. Maintenant dans sa troisième génération de propriété familiale, le magasin est exploité par les trois filles de Cohen et un petit-fils.

Depuis sa création, l’Argosy a travaillé avec de nombreux clients éminents, y compris le président Franklin D. Roosevelt, qui a commandé des livres à partir d’un catalogue précoce, et plus tard la première dame Jacqueline Kennedy, qui avait besoin d’aide pour approvisionner la bibliothèque de la Maison Blanche en Americana. Le président Bill Clinton est un client régulier depuis que les propriétaires ont restauré sa collection de livres endommagée par une inondation à Chappaqua, New York. Parmi les autres clients célèbres, citons Michael Jackson, Stephen Sondheim, la princesse Grace, Sally Field, Donatella Versace, Oriana Fallaci et Kevin Rudd. Patti Smith a été brièvement employée en 1967.

En octobre 2012, l’Argosy a subi d’importants dégâts lors de l’ouragan Sandy, lorsque des briques se sont délogées du 32e étage du bâtiment adjacent et se sont écrasées sur le toit du magasin. L’inondation qui en a résulté a touché les deux étages supérieurs et a détruit de nombreux artefacts historiques, notamment des actes du Congrès signés par Thomas Jefferson. Le magasin s’est complètement rétabli à l’automne 2013.