মুন্সিবাড়ীর নির্মাণ শুরু হয় উনিশ শতকের প্রথম দিকে। বিনোদী লাল মুন্সি, কাশিম বাজারের জমিদার স্বর্ণময়ী দেবীর অধীনে হিসাব রক্ষকের কাজ করতেন। কথিত আছে, একদিন শিকার করতে গিয়ে তিনি একটি ব্যাঙের সাপ ধরে খাওয়ার দৃশ্য দেখতে পান। তৎকালীন বিশ্বাস অনুসারে, যেখানে ব্যাঙ সাপ ধরে খায়, সেখানে বাড়ি তৈরি করলে অনেক ধন সম্পত্তির মালিক হওয়া যায়।

এই বিশ্বাসে বিনোদী লাল জমিদারের কাছে অনুমতি নিয়ে ধরণীবাড়ীতে বাড়ি নির্মাণ শুরু করেন। পরবর্তীতে, বিনোদী লালের পালক পুত্র ব্রজেন্দ্র লাল মুন্সি উনিশ শতকের মধ্যভাগে বর্তমান অট্টালিকাটি নির্মাণ করেন।ব্রজেন্দ্র লাল মুন্সির স্ত্রী আশালতা মুন্সি দুই কন্যা সন্তান জন্ম দেন। বড় মেয়ে সুচি রাণীর বিয়ে কলকাতায় আড়ম্বরের সাথে সম্পন্ন হয়। ১৯৭১ সালে মুক্তিযুদ্ধের সময় মুন্সি পরিবার কলকাতায় চলে যান।

মুন্সিবাড়ীর নির্মাণকাল ১৮৮০ খ্রিস্টাব্দ বলে ধারণা করা হয়। মুন্সিবাড়ীটি মোঘল ও ব্রিটিশ স্থাপত্যশৈলীর এক অপূর্ব মিশ্রণ। মুন্সিবাড়ীর প্রথম তলায় তিনটি বড় কক্ষ রয়েছে। দ্বিতল অট্রালিকাটিতে বেশ কয়েকটি মন্দির রয়েছে।

মুক্তিযুদ্ধের সময় মুন্সিবাড়ীটি মুক্তিযোদ্ধাদের আশ্রয়স্থল হিসেবে ব্যবহৃত হয়েছিল। পাক হানাদার বাহিনী মুন্সিবাড়ীতে আক্রমণ করে বেশ কিছু ক্ষতি করে।