Inspiriert von dem Literaturwerk The Souls of Black Folk des amerikanischen Bürgerrechtlers und Philosophen W. E. B. Du Bois kehrte Joseph Winthrop Holley nach seinem Studium an der Lincoln University in Pennsylvania nach Albany zurück und gründete eine Schule. Dank einer 2.600 US-Dollar umfassenden Spende der Familie Rowland Hazards konnte er ein Kuratorium zusammenstellen und etwa 200.000 Quadratmeter Land erwerben. Ziel der Schule war es, der afroamerikanischen Bevölkerung eine Grundschul- und Lehrerausbildung zu ermöglichen. 1917 wurde die Schule zum Georgia Normal and Agricultural College.
1932 wurde die Schule ins University-System von Georgia aufgenommen, 1943 wurde sie zum Albany State College. In den frühen 1960er Jahren spielte das College eine wichtige Rolle in der amerikanischen Bürgerrechtsbewegung, da hier das Albany Movement entstand, das unter anderem Martin Luther King Jr. in die Stadt holte. 1981 wurden erstmals Hochschulabschlüsse angeboten, 1996 erhielt das College den Status als Universität.
2004 erhielt die Universität ein neues Stadion, 2006 neue Wohneinheiten für Studenten.
An der Albany State University bestehen etwa 60 studentische Organisationen, darunter überwiegend Bands, Chöre, religiöse Gruppierungen, Ehrenverbindungen und Studentenverbindungen.
