Argosyn perusti vuonna 1925 Louis Cohen, joka valitsi nimen osittain siksi, että se alkoi A-kirjaimella ja se olisi mainittu varhain puhelinluetteloissa. Alun perin se sijaitsi vanhassa Bible Housessa Fourth Avenuen kuuluisalla “Book Row’lla”, mutta muutti 1930-luvulla osoitteeseen 114 East 59th Street ja muutti sitten viereen nykyiseen osoitteeseensa vuonna 1964, kun edellinen rakennus korvattiin pilvenpiirtäjällä. Cohenin vaimo Ruth Shevin johti liikkeen taidegalleriaa 90-vuotiaaksi asti ja työskenteli vuosien varrella useiden muiden perheenjäsenten kanssa. Kauppa on nyt kolmannessa sukupolvessa perheomistuksessa, ja sitä pyörittävät Cohenin kolme tytärtä ja pojanpoika.

Alustamisestaan lähtien Argosy on työskennellyt monien tunnettujen asiakkaiden kanssa, kuten presidentti Franklin D. Rooseveltin, joka tilasi kirjoja varhaisesta luettelosta, ja myöhemmin First Lady Jacqueline Kennedyn, joka tarvitsi apua Valkoisen talon kirjastoon Americana-kirjojen hankinnassa. Presidentti Bill Clinton on ollut vakioasiakas siitä lähtien, kun omistajat kunnostivat hänen tulvan vahingoittaman kirjakokoelmansa Chappaquassa, New Yorkissa. Muita nimekkäitä asiakkaita ovat olleet Michael Jackson, Stephen Sondheim, prinsessa Grace, Sally Field, Donatella Versace, Oriana Fallaci ja Kevin Rudd. Patti Smith oli lyhyen aikaa työntekijänä vuonna 1967.

Lokakuussa 2012 Argosy kärsi laajoja vahinkoja Sandy-hurrikaanin aikana, kun tiilet irtosivat viereisen rakennuksen 32. kerroksesta ja syöksyivät kaupan katon läpi. Syntynyt tulva vaikutti kahteen ylimpään kerrokseen ja tuhosi monia historiallisia esineitä, muun muassa Thomas Jeffersonin allekirjoittamat kongressin säädökset. Kauppa toipui täysin syksyyn 2013 mennessä.