Saraya ismini veren II. Mahmut’un kızı Adile Sultan 1826 yılında Topkapı Sarayı’nda dünyaya gelmiş. Modern bir eğitim alarak yetişen Adile Sultan özellikle yetim kız çocuklarının eğitimine verdiği önem ile tanınıyormuş. Bir de parantez açmak gerekirse Adile Sultan aynı zamanda Osmanlı Hanedanı içinde divan sahibi olan tek kadın şair. Sultan Abdülmecit 1856 yılında satın aldığı bu özel konağı kız kardeşi Adile Sultan’a yazlık saray olarak vermek istemiş ancak bu hediyeyi tamamlamaya ömrü yetmemiş. Abdülmecit’in bu vasiyetini ölümünden sonra tahta çıkan Sultan Abdülaziz yerine getirmiş. Abdülaziz harap durumda olan konağı yıktırarak yerine Adile Sultan için batı üslubu ile muhteşem bir saray inşa ettirmiş.