Abdurrahman Paşa, Kastamonu ilinde valilik yaptığı süre içerisinde sayılmayacak kadar çok eser bırakmıştır. Bu eserlerin başında Kastamonu İdadisi gelir. Galatasaray ve İstanbul Liselerinden sonra Türkiye'de 3. derecede bir maziye sahip Anadolu'da kurulan ilk devlet lisenin kesin kuruluş tarihi 20 Nisan 1885'tir.

Abdurrahman Paşa, okulun ilk sınıfını Askerî Rüştiye binasında açmıştır. 1887 yılında İdadi Müdürlüğüne Celal Bey tayin edilmiştir. Bu zamanda iki sınıf varken 1888 yılında üç olan sınıf sayısı, 1891-1892 senesi başında beş olmuştur. Aynı zamanda okul yatılıya çevrilmiştir.

1900-1901 ile 1903-1904 yıllarında okula bir ziraat şubesi eklenmişse de 1904 yılından sonra bu şube kaldırılmıştır. 1912-1913 ders yılına kadar eğitim ve öğretim normal devam etmiş, bu ders yılından itibaren okulun adı "idadi"den "sultani"ye çevrilmiştir. Yine bu ders yılı içerisinde Liseye bağlı olmak üzere ilk kısım oluşturulmuş ve Lise, onuncu sınıftan itibaren edebiyat ve fen olarak iki şubeye ayrılmıştır. 1922-1923 yılında Sultani ismi Liseye çevrilmiş, sınıf adedi on bire indirilmiştir. 1925 yılında ilk kısmı kaldırılan Lise, orta kısmı ile birlikte eğitim ve öğretime devam etmiştir.

Anadolu'nun ilk lisesi olan Kastamonu Abdurrahmanpaşa Lisesinin bütün çevre illerden gelen öğrencilerle mevcudu artmış ve kadrosu çok değerli çalışanlarla takviye edildiği için bu okula gelmek isteyen öğrencilere cevap veremez olmuştur. Yeni şubeler açmak, ek binaları yapmak durumu ortaya çıktığından Lise binasının dere kenarında Atatürk Caddesi'ne bakan evler istimlak edilerek 29 Eylül 1937 tarihinde Bakanlıktan gelen projeye uygun olarak orta kısım inşaatına başlanmıştır. Bu bina on sınıf, iki laboratuvar, bir konferans salonu, bir yemekhane ve bir dolaphane ihtiva etmekte olup günümüzde Lise binası olarak kullanılmaktadır.