In jungen Jahren stand Shero vor der Entscheidung zwischen Boxen und Eishockey. Er entschied sich gegen eine Laufbahn als Boxer und spielte für die New York Rovers in der Eastern Hockey League.
Nach so vielen Erfolgen wurde auch die NHL auf ihn aufmerksam und ab der Saison 1971/72 stand er hinter der Bande der Philadelphia Flyers. Sein Team, das auch die „Broad Street Bullies“ genannt wurde, spielte sehr körperbetont. So gelang es ihnen auch gegen die Original-Six-Teams zu bestehen. In der Saison 1973/74 waren die Flyers nach der Erweiterung der NHL 1967 das erste neue Team, das den Stanley Cup gewinnen konnte. Shero erhielt in diesem Jahr auch als erster den neu eingeführten Jack Adams Award für den besten Trainer der NHL. Im Jahr darauf verteidigte die Mannschaft um Bobby Clarke unter Sheros Regie den Titel.
Zur Saison 1978/79 wechselte er als Trainer und General Manager zu den New York Rangers, die er gleich in seinem ersten Jahr in die Stanley-Cup-Finals führte. Nachdem er schwach in seine dritte Saison gestartet war, wurde er noch vor Saisonende von Craig Patrick abgelöst.
In den folgenden Jahren arbeitete er überwiegend für Radio und Fernsehen im Umfeld der New Jersey Devils. Diese Aufgabe unterbrach er für ein kurzes Trainerengagement in den Niederlanden. 1990 verstarb er an Magenkrebs.
Auch sein Sohn Ray Shero ist im Eishockeymanagement aktiv. 2006 löste er Craig Patrick, den Mann der seinen Vater bei den Rangers beerbte, als General Manager der Pittsburgh Penguins ab.