মোঘল সম্রাট আওরঙ্গজেব - এর ৩য় পুত্র আজম শাহ ১৬৭৮ খ্রিস্টাব্দে ঢাকার সুবেদারের বাসস্থান হিসেবে এ দুর্গের নির্মাণ কাজ শুরু করেন। মাত্র এক বছর পরেই দুর্গের নির্মাণকাজ শেষ হবার আগেই মারাঠা বিদ্রোহ দমনের জন্য সম্রাট আওরঙগজেব তাকে দিল্লি ডেকে পাঠান। এসময় একটি মসজিদও দরবার হল নির্মাণের পর দুর্গ নির্মাণের কাজ থেমে যায়।নবাব শায়েস্তা খাঁ ১৬৮০ সালে ঢাকায় এসে পুনরায় দুর্গের নির্মাণকাজ শুরু করেন। তবে শায়েস্তা খানের কন্যা পরী বিবির মৃত্যুর পর এ দুর্গ অপয়া মনে করা হয় এবং শায়েস্তা খান ১৬৮৪ খ্রিস্টাব্দে এর নির্মাণ বন্ধ করে দেন। এই পরী বিবির সাথে শাহজাদা আজম শাহের বিয়ে ঠিক হয়েছিল। পরী বিবিকে দরবার হল এবং মসজিদের ঠিক মাঝখানে সমাহিত করা হয়। শায়েস্তা খাঁ দরবার হলে বসে রাজকাজ পরিচালনা করতেন। ১৬৮৮ সালে শায়েস্তা খাঁ অবসর নিয়ে আগ্রা চলে যাবার সময় দুর্গের মালিকানা উত্তরাধিকারীদের দান করে যান। এই ভবনটি মুঘল সুবেদার শায়েস্তা খানের প্রিয় কন্যা পরীবিবির সমাধি নামে পরিচিত।