বারাণসীর দুর্গা বাড়ি মন্দিরে দেবী দুর্গার মূর্তিটির একটি আকর্ষণীয় ইতিহাস রয়েছে। এটি ২৫৭ বছর ধরে পূজিত হচ্ছেন। মূর্তিটি এখানে মুখার্জি পরিবারের দ্বারা স্থাপন করা হয়েছিল বলে বিশ্বাস করা হয় এবং এর পিছনে একটি ইতিহাস আছে। "মায়ের এই মূর্তিটি এখানে ১৭৬৭ সালে দুর্গা পূজা উৎসবের সময় স্থাপিত হয়েছিল। দশেরার দিনে মূর্তিটি বিসর্জনের জন্য নিয়ে যাওয়ার কথা ছিল, কিন্তু দেবী নড়তে রাজি হননি, ভক্তরা আরও দু'দিন চেষ্টা করেছিলেন বিসর্জনের জন্য। কিন্তু সফল হননি। বাড়ির একজনকে মা স্বপ্নাদেশ দেন তিনি এখানে কাশীতে থাকতে চান।