Argosy blev grundlagt i 1925 af Louis Cohen, som valgte navnet, bl.a. fordi det begyndte med bogstavet “A” og ville blive opført tidligt i telefonbøgerne. Oprindeligt lå det i det gamle bibelhus på Fourth Avenue’s berømte “Book Row”, men det flyttede til 114 East 59th Street i 1930’erne og flyttede derefter til sin nuværende adresse i 1964, da den tidligere bygning blev erstattet af en skyskraber. Cohens kone, Ruth Shevin, ledede butikkens kunstgalleri helt op i 90’erne og arbejdede sammen med flere andre familiemedlemmer i årenes løb. Nu er det tredje generation af familieejere, og butikken drives af Cohens tre døtre og et barnebarn.

Siden starten har Argosy arbejdet med mange prominente kunder, herunder præsident Franklin D. Roosevelt, som bestilte bøger fra et tidligt katalog, og senere First Lady Jacqueline Kennedy, som havde brug for hjælp til at fylde Det Hvide Hus’ bibliotek med americana. Præsident Bill Clinton har været en fast kunde, lige siden ejerne restaurerede hans bogsamling i Chappaqua, New York, som var blevet ødelagt af en oversvømmelse. Andre højt profilerede kunder har været Michael Jackson, Stephen Sondheim, prinsesse Grace, Sally Field, Donatella Versace, Oriana Fallaci og Kevin Rudd. Patti Smith var kortvarigt ansat i 1967.

I oktober 2012 led Argosy omfattende skader under orkanen Sandy, da mursten løsrev sig fra den 32. etage i den tilstødende bygning og styrtede ned gennem butikkens tag. Den resulterende oversvømmelse ramte de to øverste etager og ødelagde mange historiske artefakter, herunder kongresakter underskrevet af Thomas Jefferson. Butikken var fuldt genoprettet i efteråret 2013.