Anthony Robert McMillan néven született Glasgow-ban, ott végzett művészeti iskolát, majd festői képességeit kétségbe vonva a színészetre váltott, radikális társulatokban kezdett játszani. A Coltrane művésznevet John Coltrane jazz-zenész tiszteletére vette fel.
Első filmszerepét 1979-ben kapta, ezután filmekben és tévésorozatokban tűnt fel kisebb szerepekben, puszta testméretei is segítettek neki, hogy kitűnjön a tömegből.
„Titokzatos dolog az idő” – mondja Albus Dumbledore a Harry Potter és az azkabani fogolyban. A Visszatérés Roxfortba, amely az első Harry Potter-film bemutatásának huszadik évfordulójára készült, valódi időutazás, megható találkozásokkal és izgalmas kulissszatitkokkal. 
A nyolcvanas években egyre többször kapott nagyobb szerepeket, többek között Derek Jarman Caravaggiójában, melyben a kardinálist alakította, vagy Kenneth Branagh V. Henrikében, ahol Falstaffot játszotta.
Háromszor tüntették ki a brit filmes Bafta-díjjal, 1994-ben, 1995-ben és 1996-ban is neki ítélték a legjobb tévészínésznek járó elismerést. Játszott két James Bond-epizódban, az Aranyszem és a Világ nem elég című filmekben.
J. K. Rowling Harry Potter-regényfolyamának megfilmesítésekor az elsők között kérték fel a Roxfort varázslóiskola gondnokának, Rubeus Hagridnak a szerepére. A nyitó epizód, A bölcsek köve 2001-ben debütált, Coltrane a jóságos óriás megformálójaként újabb, fiatal rajongókat szerzett magának. A jubileumi Harry Potter-filmben arról beszélt, hogy ő ugyan nem lesz itt, de Hagrid mindig velünk marad:
Coltrane felesége Rhona Gemmel szobrász volt 1999 és 2003 között, két gyerekük született.
A címben idézett jelenettel búcsúzunk tőle:
