Danimarkalı soylu kadın olan Ingeborg Skeel, 1578’de Voergaard Kalesi’ne taşınmış. Rivayete göre, kaleyi evi yaptıktan kısa bir süre sonra, daha güzel bir kale yapmaması için mimarını boğduğu söylenmekte. Günümüzde ise kalede görlen hayat değil Skell’in hayaleti olduğu söylenmekte. Kalenin ürpertici bir diğer özelliği zindanlarından biri, içinde yetişkin bir insanın ne ayağa kalkabileceği, ne de yatabileceği şekilde yapılması ve içinde ışık veya hava alacağı bir deliğin bir olmaması.