Başyaverliğinin yanı sıra çok zengin bir tüccar olan Yusuf Ziya Paşa, Rumelihisarı'na masallardaki şatolara benzer bir köşk yaptırmak ister. Söylentiye göre o kadar kıskançtır ki güzel karısını kimseler görsün istemiyordur. Bu köşk aynı zamanda eşinin güzelliğine yakışır derecede olmalıydı. 1910'da başlayan inşaat  I. Dünya Savaşı’nın patlak vermesi ve Yusuf Ziya Paşa'nın ekonomik sıkıntıya düşmesinden dolayı bitirilemez. Eşi de ona ihanet edince kalbi kırılır ve köşkün tamamlanmasını hiç istemez.

Yıllar boyunca köşkün çevresinde yaşayan insanlar köşkün boş katlarında geceleri uzun saçlı genç bir kadının gezindiğini belirtmişler. 1990'lı yıllarda ise köşkün inşaatında çalışan işçiler aynalarda eski elbiselere bürünmüş bir kadın hayaleti gördüklerini, hatta piyano çaldığını işittiklerini iddia etmişlerdir.