Tanzimat Dönemi’nde birçok idari yapının oluşturulmasıyla birlikte, eğitim alanında önemli bir adım atılmış ve 1857 yılında “Maarif-i Umumiye Nezareti” (Millî Eğitim Bakanlığı) kurulmuştur.

1 Eylül 1869 tarihinde, Maarif-i Umumiye Nezareti tarafından merkez dışında taşra teşkilatı kurulmuş, il merkezlerinde ise “İl Maarif Meclisleri” oluşturulmuştur. Eğitim işlerini düzenlemek, kanunların uygulanmasını sağlamak, il düzeyindeki eğitim faaliyetlerini takip etmek ve Bakanlığın iş yükünü azaltmak amacıyla İstanbul’da da bir Maarif Meclisi kurulmuştur. Bu yapı, günümüzdeki İl Millî Eğitim Müdürlüğü’nün ilk örneği olarak kabul edilmektedir.

Sonraki yıllarda Osmanlı vilayetlerinde de Maarif Meclisleri açılmış, bu meclislerin başkanlık görevini Maarif Müdürleri (günümüzde İl Millî Eğitim Müdürleri) üstlenmiştir.

Cumhuriyet’in ilk yıllarında eğitimde birlik sağlamak amacıyla, 3 Mart 1924 tarihli Tevhid-i Tedrisat Kanunu ile tüm okul ve medreseler Maarif Vekâletine (Millî Eğitim Bakanlığına) bağlanmıştır.

Eğitim sistemini daha düzenli hâle getirmek amacıyla 2 Mart 1926’da “Maarif Teşkilatı Hakkında Kanun” kabul edilmiş; bu kanunla ilkokul eğitimi parasız ve zorunlu hâle getirilmiştir. Ayrıca eğitim faaliyetlerini düzenlemek amacıyla Dil Heyeti ve Millî Talim ve Terbiye Dairesi kurulmuştur.

Bakanlık, taşra teşkilatını güçlendirmek amacıyla 1926 yılında Maarif Eminlikleri Teşkilatını kurmuş ve ülke eğitim açısından bölgelere ayrılmıştır. Bu sistemin amacı, eğitimi merkeziyetçi bir yapı içinde geliştirmek ve Tevhid-i Tedrisat Kanunu’nun uygulanmasını sağlamaktır.

Beş yıl boyunca faaliyet gösteren Maarif Eminlikleri, Millî Eğitim Bakanlığı’nın taşra teşkilatının en üst düzey birimi olarak görev yapmıştır. Ancak zamanla vilayet nüfusunun artması ve sistemde yaşanan aksaklıklar nedeniyle 29 Haziran 1931 tarihinde kaldırılmıştır.

Cumhuriyet’in ilk yıllarından itibaren İl Millî Eğitim Müdürlükleri, Maarif Vekâletinin taşradaki en önemli birimleri olarak görev yapmıştır.

Nüfus artışı ve idari ihtiyaçlar doğrultusunda yeni düzenlemeler yapılmıştır. Bu kapsamda 1949 yılında İl İdaresi Kanunu ile her ilde İl Millî Eğitim Müdürlüğü kadroları oluşturulmuş, ilçelerde ise İlköğretim Müdürlükleri kurulmuştur.

Daha sonra bu yapılar yeniden düzenlenmiş; 1983 yılında İl Millî Eğitim Müdürlükleri “Millî Eğitim Gençlik ve Spor İl Müdürlüğü” adını almıştır. 1985 yılında ise İlçe Millî Eğitim Müdürlükleri kurulmuştur.

İstanbul’da 1980 yılına kadar 16 ilçe millî eğitim müdürlüğü bulunurken, 2000’li yıllarda bu sayı 32’ye, 2008 yılında ise 39’a yükselmiştir.

2012 yılında ana binada meydana gelen yangın sonrası İstanbul İl Millî Eğitim Müdürlüğü, farklı bölgelerde hizmet vermiş; 2015 yılında Sultanahmet Adliyesi binasına taşınmıştır. Kurum, günümüzde de aynı binada hizmet vermeye devam etmektedir.