Der Argosy Book Store wurde 1925 von Louis Cohen gegründet, der den Namen unter anderem deshalb wählte, weil er mit dem Buchstaben “A” begann und schon früh in Telefonbüchern aufgeführt wurde. Ursprünglich befand sie sich im alten Bible House in der berühmten “Book Row” an der Fourth Avenue. In den 1930er Jahren zog sie in die 114 East 59th Street um, und 1964, als das vorherige Gebäude durch einen Wolkenkratzer ersetzt wurde, zog sie nebenan an ihre heutige Adresse. Cohens Frau, Ruth Shevin, leitete die Kunstgalerie des Geschäfts bis in ihre 90er Jahre und arbeitete im Laufe der Jahre mit mehreren anderen Familienmitgliedern zusammen. Heute befindet sich das Geschäft in dritter Generation im Familienbesitz und wird von Cohens drei Töchtern und einem Enkel geführt.

Seit seiner Gründung hat das Argosy mit vielen prominenten Kunden zusammengearbeitet, darunter Präsident Franklin D. Roosevelt, der Bücher aus einem frühen Katalog bestellte, und später die First Lady Jacqueline Kennedy, die Hilfe bei der Ausstattung der Bibliothek des Weißen Hauses mit Americana benötigte. Präsident Bill Clinton ist ein regelmäßiger Kunde, seit die Besitzer seine von der Flut beschädigte Büchersammlung in Chappaqua, New York, restauriert haben. Weitere prominente Kunden waren Michael Jackson, Stephen Sondheim, Prinzessin Grace, Sally Field, Donatella Versace, Oriana Fallaci und Kevin Rudd. Patti Smith war 1967 kurzzeitig Angestellte.

Im Oktober 2012 wurde das Argosy während des Hurrikans Sandy stark beschädigt, als sich Ziegel aus dem 32. Stock des angrenzenden Gebäudes lösten und durch das Dach des Geschäfts stürzten. Die daraus resultierende Überschwemmung betraf die beiden obersten Stockwerke und zerstörte viele historische Artefakte, darunter von Thomas Jefferson unterzeichnete Kongressakten. Das Geschäft erholte sich bis zum Herbst 2013 vollständig.