Sekolah Islamiah dibina hasil usaha Persatuan Islam Tawau (PIT) . Persatuan ini teelah mendapat sebidang tanah kira-kira 3.98 ekar. Kos pembinaan dibiayai oleh PIT melalui sumbangan masyarakat Tawau.
Dengan kerjasama USIA , sekolah ini siap dibina pada tahun 1970 dan telah dirasmikan oleh Ketua
Menteri Sabah ketika itu Yang Amat Berhormat Tun Datu Haji Mustafa bin Datu Harun pada 29hb April 1970. Sekolah ini merupakan sekolah agama yang pertama di Sabah.
Pada awalnya sekolah ini terbahagi kepada tiga bahagian iaitu Tadika,Rendah dan Menengah yang dipimpin ole ketua jabatan masing-masing. Ketiga-tiga bahagian sekolah ini berkongsi mengguanakan bangunan yang sama .
Pada akhir 1980-an bangunan peginapan pelajar-pelajar puteri telah siap dibina (ASPURI) hasil tajaan negara Kuwait .
Pada 14 Jun 1994 sebuah bangunan tambahan dengan kapasiti lapan buah bilik telah siap dibina. Bangunan tersebut telah dirasmikan oleh YAB Datu' ( Dr.) Hamid Osman Menteri di Jabatan Perdana Menteri pada ketika itu.
Pada tahun 1995, pembinaan bangunan baru bagi sekolah rendah dengan kapasiti 6 bilik darjah dua Bilik Guru, Bilik Guru Besar,tandas dan kantin telah dilaksanakan.
Pada tahun 2006, dua blok bangunan tambahan dan kantin untuk sekolah menengah mula dibina dengan kos 800 ribu. Bangunan ini mula digunakan pada tahun 2007. Dengan siapnya bangunan ini, sekolah menengah mula beroperasi di bangunan sendiri .
Aspuri SMIT 2014