Lars Ivarsson begann seine Karriere als Eishockeyspieler in seiner Heimatstadt in der Nachwuchsabteilung des Västerås IK. Von dort wechselte er zu Brynäs IF, für dessen Profimannschaft er von 1984 bis 1988 in der Elitserien, der höchsten schwedischen Spielklasse, aktiv war. Anschließend lief der Verteidiger fünf Jahre lang für den Ligarivalen HV71 auf, ehe er weitere vier Jahre bei seinem Heimatverein Västerås IK – ebenfalls in der Elitserien – verbrachte. Die Saison 1997/98 begann er bei KalPa Kuopio in der finnischen SM-liiga und beendete sie beim Kapfenberger SV in der Österreichischen Eishockey-Liga. In der Saison 1998/99 trat er für den HC Bozen sowohl in der italienischen Serie A1, als auch in der multinationalen Alpenliga an. In der Serie A1 wurde er mit Bozen Vizemeister. Nach einjähriger Pause lief er noch einmal von 2000 bis 2002 für seinen Heimatverein Västerås IK auf, ehe er seine Karriere im Alter von 38 Jahren beendete.
Zwischen 2003 und 2006 war Ivarsson zunächst als Trainer im Nachwuchsbereich des Västerås IK tätig. In den folgenden vier Jahren war er sowohl als Assistenz-, als auch als Cheftrainer der Profimannschaft des Vereins in der zweitklassigen HockeyAllsvenskan tätig. In der Saison 2010/11 stand er als Cheftrainer bei dessen Ligarivalen IK Oskarshamn hinter der Bande. Im Laufe der Saison 2011/12 ersetzte er Harald Lückner als Cheftrainer beim schwedischen Zweitligisten Mora IK.
Für Schweden nahm Ivarsson im Juniorenbereich an den U18-Junioren-Europameisterschaften 1980 und 1981 teil. Im Seniorenbereich stand er im Aufgebot seines Landes bei den Olympischen Winterspielen 1988 in Calgary. Bei allen drei Turnieren gewann er mit seiner Mannschaft jeweils die Bronzemedaille.