Es ist schwer zu sagen, wann genau die Band gegründet wurde. Zuvor, im Jahre 1987 spielten sie in den Bars von Minneapolis unter dem Namen 'The Take It To The Limit Band', als eine Eagles-Cover-Band. Diese Band bestand aus Dan Murphy und Dave Pirner (beide von Soul Asylum), Jim Boquist (später ein Mitglied von Son Volt) und Martin Zellar (Gear Daddies). Stets beendeten sie ihre Show mit dem Erfolgssong der BanglesWalk Like an Egyptian. Die gleiche Band bestritt später unter dem Namen Her Satanic Majesty's Paycheck ein Coverprogramm mit Liedern der Rolling Stones.
Die Geschichte der Band zwischen der frühen Zeit der Coverbands und dem ersten Album ist unklar. Im Nachhinein betrachtet fällt es schwer den Punkt auszumachen, an dem man von 'Golden Smog' als Band sprechen kann. Vielleicht ist es besser zu sagen, dass der Verve der Musiker schon in den Coverprojekten zu hören war. Im Jahre 1992 nahmen dann Dan Murphy, Gary Louris, Marc Perlman (Bassist bei The Jayhawks), Kraig Johnson und Chris Mars (The Replacements) als erste CD die Cover-EP namens On Golden Smog auf. Auf diese folgte 1996 das DebütalbumDown By The Old Mainstream. Aufgenommen wurde es in den Pachyderm Recording Studio. Die Band bestand zu dieser Zeit aus Kraig Johnson, Dan Murphy, Gary Louris, Marc Perlman, Wilco-Sänger Jeff Tweedy und dem Schlagzeuger der Honeydogs, Noah Levy. Angemerkt sei noch, dass einige der Musiker unter Pseudonymen aufnahmen, da sie in bereits bestehenden Verträge gebunden waren. Einige Jahre später reformierte sich die Band mit Jody Stephens (von Big Star) am Schlagzeug. Jody spielte 1996 während der Neujahrskonzerte in Chicago mit der Band. In neuer Besetzung veröffentlichten sie 1998 das Album Weird Tales.
Im Jahre 2005 nahm die Band in Spanien ein neues Album namens Another Fine Day auf. Dieses wurde am 18. Juli 2006 auf Lost Highway Records veröffentlicht. Auf diesem Album spielen sowohl Jody Stephens und Linda Pitmon von der Band Zuzu’s Petals und Steve Wynn’s Miracle 3 am Schlagzeug. Diesem Album hört man das Zusammenspiel an, wenngleich Jeff Tweedy nur ein paar Lieder beisteuerte. Im Sommer 2006 startete die Band eine Tour, bei der Tweedy fehlte, da er mit Wilco im Studio war bzw. einen Drogenentzug erfolgreich absolvierte.
Angeblich ist John King (von The Litter) der Vorbesitzer der Gitarre von Gary Louris (einer Gibson SG von 1968), dem Gitarristen der Jayhawks und Golden Smog. Diese Gitarre befand sich außerdem von 1977 bis 1986 im Besitz von Kevin Waddick. Chris Osgood, der Gitarrist der legendären Punkband The Suicide Commandos, schlug vor, dass Kevin Waddick ihm seine Gitarre verkaufen solle, informierte dann allerdings Gary Louris, dass die Gitarre zum Verkauf stünde.
