Rumeli Hisarının inşa planının bizzat Fatih Sultan Mehmed tarafından çizildiği rivayeti kuvvetlidir. Hisarın kerestesi İzmitten, kireci Şile bölgesinden getirilmiş, 1000 taşçı ustası, 5 bin işçi, 10 bin civarında yamak çalıştırılmıştır. Vezirlerin, sırtında taş taşıyarak yapılmasına emekleri geçmiş; ayrıca bazı burçların yapım masrafını işçi ücretleri dahil vezirler üzerine almışlardır.
Rumeli Hisarının inşası esnasında Bizans İmparatoru elçi göndererek Kendi toprakları üzerine kale yapılmasının dostluğa ve ahde vefaya uymadığını bildirir. Bunun üzerine Fatih Sultan Mehmed elçiye;
-Var git kralına söyle! O, rahmetli babam zamanında ahdi çok defa bozmuştu. Arada ahid mi kaldı ki vefadan bahseder. Biz bu topraklara hisar yaparız, toprak elçi göndermekle kurtarılmaz. Eğer bu topraklar onunsa gelip kurtarsın diyerek niyetini az çok bildirmiştir.