Golson begon op 14-jarige leeftijd met saxofoon spelen. Gedurende zijn zeventigjarige carrière werkte hij samen met grote namen uit de jazzwereld, zoals Dizzy Gillespie, Lionel Hampton en John Coltrane. Hij wordt gezien als iemand die een grote bijdrage heeft geleverd aan het subgenre hardbopjazz.

Golson maakte naam als muzikant en was daarnaast actief als componist. Met stukken als I Remember Clifford, Blues March en Killer Joe componeerde hij enkele zogenoemde jazzstandards; muziekstukken die tot het standaardrepertoire van jazzmusici zijn gaan behoren.

Vanaf de jaren zestig richtte Golson zich enige jaren op het componeren van muziek voor films en tv-series. Hij maakte muziek voor onder meer M*A*S*H, The Partridge Family en Mission: Impossible. In 2020 ontving Golson de Grammy Trustees Award voor zijn bijdrage aan de muziek.

In 2004 was Golson als zichzelf te zien in de bioscoopfilm The Terminal van Steven Spielberg. In de film reist Tom Hanks naar New York om een handtekening van Golson te bemachtigen. Die handtekening heeft hij nodig om zijn verzameling handtekeningen van muzikanten die op de beroemde foto A Great Day In Harlem staan compleet te maken.

In 2014 gaf Golson een concert in het Concertgebouw in Amsterdam. Het concert vond plaats ter gelegenheid van het 75-jarig bestaan van het jazzlabel Blue Note.