1 Kasım 1957 tarihinde Hava Harp Okulu'na girmiştir ve 30 Ağustos 1959 tarihinde Astteğmen olarak Harp Okulu'ndan mezun olmuştur. Kendisi, Diyarbakır'da bulunan 8. Ana Jet Üssü Komutanlığı'nda 181. Filo komutanı olarak görev yapmaktaydı.
Fehmi Ercan, askeri kariyeri boyunca rütbeleri yükselmiştir: 28 Şubat 1960 tarihinde Teğmen, 30 Ağustos 1962 tarihinde Üsteğmen, 30 Ağustos 1967 yılında Yüzbaşı ve 30 Ağustos 1972 yılında ise Binbaşı rütbesine yükselmiştir.
Şehit Binbaşı Fehmi Ercan, Kıbrıs Harekatı sebebiyle 6. Kolordu Komutanlığı nezdinde İleri Hava Kontrolörü görevini yaparken 20 Temmuz 1974 gecesi gerçekleşen bir Rum roket saldırısı sonucunda Albay Karaoğlanoğlu ve iki er ile birlikte alay karargahında şehit olmuştur. Bu olay 1974 yılında gerçekleşmiştir.
Ercan Havalimanı'nın adı, Şehit Binbaşı Fehmi Ercan'dan gelmektedir. Havalimanının adı onun anısına verilmiştir ve Kıbrıs'ta bulunan bu havalimanına onun ismi verilerek hatırası yaşatılmaktadır.
