Okul, ilk olarak ilçenin Cami-i Kebir Mahallesi’nde,iki katlı bir evde üç  sınıflı olarak, 1935-1936 eğitim-öğretim yılında ilk defa hizmete açılmıştır. O zamanki adı “İkinci Okul” olarak kabul edilmiştir. 

1946-1947 eğitim-öğretim yılında büyük  divân şairi ve hemşehrimiz olan Nef’î’ye ithafen “Nef’i İlkokulu” ismi verilmiştir. Arsasının büyük bir bölümü  Vayizzade Mustafa Efendi’ye ait olan bu alan, daha  sonra çocukları Hamdiye Hanım  ve Agah Efendi’ye bırakılmıştır.Onların ölümü ile de Mahmut Efendi ile Agah Efendinin oğlu Mustafa’ya kalmış.Bu arsa üzerinde İlkokul inşa edilmek üzere 1949’da metrekaresi 15 liradan 1650  liraya  istimlak edilerek okul bina arsasına dahil edilmiştir. Halen eğitim-öğretime devam edilen bu okul binası, eski Rüştiye Mektebi’nin arsası üzerine, 1949 yılında,100.000 TL’si muayyen bedelle, beş derslik,   müdür odası,   öğretmenler odası ve  personel odasından müteşekkil yapılarak, aynı yıl hizmete açılmıştır. 

1950 yılı inşaat mevsiminde ,okul ihata duvarı ile çevrilmiştir. Okul 1990 yılına kadar sobalı olup, aynı yıl devlet ve veli işbirliğiyle kaloriferli hâle getirilmiştir. Bina bu haliyle 1998 yılına kadar hizmet vermiştir. Daha sonra 1998-1999 eğitim-öğretim yılında tamamen sökülerek kısa sürede yeniden inşa edilmiş ve yeni binası ile hizmete açılmıştır.