এই মন্দির ঘিরে অনেক কাহিনিও শোনা যায়। রাজা তেজচন্দ্রের আমলে মন্দিরটির পত্তন হয়। স্বয়ং রামকৃষ্ণ এই মন্দিরে এসেছেন বলে কথিত আছে।
কথিত আছে, প্রায় সাড়ে ৩০০ বছর আগে বর্ধমানের উত্তরাংশে বাহির সর্বমঙ্গলা পাড়ায় বাগদিরা পুকুরে মাছ ধরতে গিয়ে জেলেরা একটি শিলামূর্তি পেয়েছিলেন। সেটিকে প্রস্তর খণ্ড ভেবে তার উপরে শামুক–গুগলি থেঁতো করতেন তারা।
শামুকের খোলা নেওয়ার সময় শিলামূর্তিটি চলে যায় চুন ভাটায়। তখন শামুকের খোলের সঙ্গে শিলামূর্তিটি পোড়ানো হয় । তবে আশ্চর্যজনক ভাবে সেই সময় শিলামূর্তিটির কোনও ক্ষতি হয়নি।
ওই রাতেই স্বপ্নাদেশ পান তৎকালীন রাজা সঙ্গম রায়। এরপর শিলামূর্তিটিকে নিয়ে এসে সর্বমঙ্গলা নামে পুজো শুরু করেন তিনি। পরবর্তীতে ১৭০২ সালে টেরাকোটার নিপুণ কারুকার্য করে সর্বমঙ্গলা মন্দির নির্মাণ করেন মহারাজাধিরাজ কীর্তিচাঁদ মহতাব।
রাঢ়বঙ্গের অধিষ্ঠাত্রী এই দেবী সর্বমঙ্গলার হাত ধরে দুর্গাপুজো জনপ্রিয় হয়ে ওঠে বর্ধমান জেলা জুড়ে। কষ্টিপাথরের অষ্টাদশভুজা। সিংহবাহিনী দুর্গাই পুজিত হন সর্বমঙ্গলা রূপে। তিনশো পয়ষট্টি দিনই সর্বমঙ্গলা মন্দিরে হয় রাজকীয় আয়োজন। রাজবেশ ও দামী গয়নায় সাজিয়ে তোলা হয় সর্বমঙ্গলাকে। এরপর তোলা হয় সিংহাসনে। পুজো, মঙ্গলারতির মাঝেই চারবেলা চলে ভোগ।
বর্ধমান সর্বমঙ্গলা মন্দির কর্তৃপক্ষ বিজ্ঞপ্তি দিয়ে জানিয়েছে আগামীকাল অর্থাৎ বৃহস্পতিবার থেকে বসে খাওয়া ও বাড়িতে নিয়ে যাওয়া ভোগের মূল্য ১০ টাকা করে বাড়ানো হচ্ছে।