Şebinkarahisar Kalesi Hacı Kayası olarak bilinen şehre hâkim bir tepe üzerinde yer alıyor. Şebinkarahisar Kalesi’nin yapım tarihi kesin olarak bilinmiyor. İlk kuruluşunun Roma öncesine kadar gittiği, surların büyük bölümünün Mengücekler zamanında yeniden yapıldığına dair bilgiler bulunuyor. Kalenin günümüzdeki girişi ve surları Selçuklu ve Osmanlı dönemlerine ait. Evliya Çelebi Seyahatnamesi’nde kale içinde yetmiş kadar ev, çok sayıda sarnıç ve buğday ambarları ile Küçük Fatih Camisi olduğundan bahsetmiş. 1915 Ermeni isyanına kadar bu yapıların çoğu ayaktaymış.