সাতের দশকে যুব কংগ্রেসের সক্রিয় সদস্য় হিসেবে রাজ্য রাজনীতিতে হাতেখড়ি। তারপর ১৯৯৮ সাল পর্যন্ত মুকুল রায় কংগ্রেস নেতা হিসাবে রাজনৈতিক ক্যারিয়ার গড়ে তোলেন। ক্রমশঃ মমতা বন্দ্যোপাধ্যায়ের ঘনিষ্ঠ হয়ে ওঠেন।
১৯৯৮ সালে যখন কংগ্রেস থেকে ভেঙে মমতা বন্দ্যোপাধ্যায় তৃণমূল স্থাপন করেন, তখন তিনিও কংগ্রেস ছাড়েন। তৃণমূলের প্রথম সদস্য় হিসেবে নিজের নাম নথিভুক্ত করেন। মুকুল রায়ই আজকের তৃণমূল কংগ্রেসের প্রতিষ্ঠাতা সদস্য। তিনি ২০০৬ সালে তৃণমূল কংগ্রেসের সর্ব ভারতীয় সাধারণ সম্পাদক হন।
২০০১ সালের পশ্চিমবঙ্গ বিধানসভা নির্বাচনে মুকুল রায় জগদ্দল পবিধানসভা থেকে নির্বাচনে প্রতিদ্বন্দ্বিতা করেন এবং ফরওয়ার্ড ব্লক প্রার্থী হরিপদ বিশ্বাসের কাছে পরাজিত হন। ২০০৬ সালে তিনি তৃণমূল কংগ্রেস প্রার্থী হিসাবে রাজ্যসভার সদস্য হিসেবে মনোনীত হন।
দ্বিতীয় ইউপিএ মন্ত্রীসভায় তিনি কেন্দ্রীয় জাহাজ মন্ত্রকের দায়িত্ব পান। ২০১২ সালের রেল বাজেটে ভাড়া বৃদ্ধি জনিত অসন্তোষের কারণে মমতা বন্দ্যোপাধ্যায় তৎকালীন রেলমন্ত্রী দীনেশ ত্রিবেদীর ইস্তফা দাবি করেন। দীনেশ ত্রিবেদী ইস্তফা দিলে মুকুল রায় পরবর্তী রেলমন্ত্রী হন।
সারদা কেলেঙ্কারি ও নারদা কাণ্ডে মুকুল রায়ের নাম জড়ানোর পর থেকেই মমতা বন্দ্যোপাধ্যায় এর সঙ্গে তার দূরত্ব বাড়তে থাকে। যদিও প্রথম দিকে মমতা বন্দোপাধ্যায় মুকুল রায়কে দৃঢ় ভাবে সমর্থন করেন। ২০১৭ সালের ৩ নভেম্বর মুকুল রায় বিজেপিতে যোগ দেন।
এরপর রাজনৈতিক বিরােধিতা প্রকাশ্যে আসে। মমতা বন্দ্যোপাধ্যায়ের বিরুদ্ধেও মুখ খুলতে দেখা যায় তাঁকে। বিধানসভা নির্বাচনে তৃণমূলের বিরুদ্ধে বিজেপির অন্যতম মুখ ছিলেন তিনি।
২০২১ পশ্চিমবঙ্গ বিধানসভা নির্বাচনে মুকুল রায় কৃষ্ণনগর উত্তর বিধানসভা কেন্দ্র থেকে বিজেপির টিকিটে প্রার্থী হিসাবে ভোটে লড়েন এবং ৩৫ হাজার ৮৯ ভোটের ব্যবধানে জয়লাভ করেন। তারপর থেকেই ফের তাঁর সঙ্গে বিজেপির দূরত্ব বাড়তে থাকে।