Futbolculuktan emekli olduktan 2 sene sonra teknik direktörlük kariyerine Ankaragücü'nde başladı. 2 sene boyunca Ankaragücü'nde teknik direktörlük yapan Terim, ikinci senesinde ligde 6. olarak dikkatleri üzerine çekti.
1989-90 yıllarında kısa bir süre o dönem ikinci ligde oynayan Göztepe'yi çalıştırdı. Şampiyonluk mücadelesi veren Göztepe'de çok iyi performans gösterirken, U-21 Milli Takımı'ndaki görevine odaklanmak için kulüpteki görevinden ayrıldı. Böylece Milli Takım kariyeri başlamış oldu.
21 Yaş Altı Milli Takımı'nda 3 sene çalışan Terim, 1991 Atina Akdeniz Oyunları'nda 2. olarak Gümüş Madalya, 1993 yılında Fransa Akdeniz Oyunları'nda ise şampiyon olarak Altın Madalya kazandı ve A Milli Takım'da çalışmaya giden yolu kendisine açmış oldu.
1993-1996 yılları arasında A Milli Takım'da görev yapan Fatih Terim, 1996 yılında ilk defa Galatasaray'ın başına geçerek ve 4 yılda 4 şampiyonluk yaşayacağı, UEFA Kupası'nı kazanacağı, UEFA Süper Kupası'nı kazanan takımın temellerini Lucescu'ya bırakacağı müthiş kariyerine başlamış oldu.
UEFA Kupası'nı kazandıktan sonra Galatasaray'dan ayrılarak önce Fiorentina'yı sonra dünya devi Milan'ı çalıştırdı. İtalya'da Sinyor Terim ve Grande Terim olarak anıldı. Türkiye'de ise hala İmparator'du.
1996-2013 yılları arasında ayrı dönemlerde toplam 8 sene Galatasaray'ın başında kaldı ve 6 Türkiye Süper Ligi şampiyonluğu kazandı. Özellikle 2011-2013 yılları arasında Şampiyonlar Ligi'nde iki sene üst üste gruptan çıkma ve birinde çeyrek final oynama başarısı gösterdi.
Bu süreçte 2005-2009 ve 2013-2017 yılları arasında iki defa tekrar Türkiye A Milli Takımı'nda görev yaptı ve 2008 yılında Avrupa Futbol Şampiyonası'nda üst üste mucize geri dönüşlerle Avrupa 3'üncüsü olarak Brozn Madalya kazandı.
Fatih Terim, 2018 yılına yaklaşırken şimdi tekrar Galatasaray'ın başına geçiyor. Kariyerinin sonlarına yaklaşan efsane teknik direktör, 4. Galatasaray dönemine "Nerede kalmıştık?" diyerek giriş yaptı.
