El Argosy fue fundado en 1925 por Louis Cohen, que eligió el nombre, en parte, porque empezaba por la letra “A” y aparecía pronto en las guías telefónicas. Originalmente se encontraba en la antigua Casa de la Biblia en la famosa “Book Row” de la Cuarta Avenida, se trasladó al 114 de la calle 59 Este en la década de 1930 y luego se trasladó al lado a su dirección actual en 1964, cuando el edificio anterior fue sustituido por un rascacielos. La esposa de Cohen, Ruth Shevin, dirigió la galería de arte de la tienda hasta sus 90 años y trabajó con otros miembros de la familia a lo largo de los años. Ahora, en su tercera generación de propietarios, la tienda está gestionada por las tres hijas y el nieto de Cohen.

Desde sus inicios, el Argosy ha trabajado con muchos clientes destacados, como el presidente Franklin D. Roosevelt, que encargó libros de un primer catálogo, y más tarde la primera dama Jacqueline Kennedy, que necesitaba ayuda para abastecer la biblioteca de la Casa Blanca con productos americanos. El presidente Bill Clinton ha sido un cliente habitual desde que los propietarios restauraron su colección de libros dañada por una inundación en Chappaqua (Nueva York). Otros clientes destacados han sido Michael Jackson, Stephen Sondheim, la princesa Grace, Sally Field, Donatella Versace, Oriana Fallaci y Kevin Rudd. Patti Smith fue brevemente una empleada en 1967.

En octubre de 2012 el Argosy sufrió grandes daños durante el huracán Sandy, cuando unos ladrillos se desprendieron del piso 32 del edificio adyacente y se estrellaron contra el techo de la tienda. La inundación resultante afectó a las dos últimas plantas y destruyó muchos objetos históricos, incluidas las actas del Congreso firmadas por Thomas Jefferson. La tienda se recuperó por completo en otoño de 2013.