রাজ্জাক ১৯১৪ সালে ঢাকার নবাবগঞ্জ উপজেলার পাড়াগ্রামে জন্মগ্রহণ করেন। তাঁর বাবা আব্দুল আলি একজন পুলিশ অফিসার ছিলেন। তিনি ঢাকার মুসলিম সরকারি উচ্চ বিদ্যালয় থেকে মাধ্যমিক এবং ঢাকা কলেজ থেকে উচ্চ-মাধ্যমিক পাস করেন। ১৯৩১ সালে তিনি ঢাকা বিশ্ববিদ্যালয়ের রাজনৈতিক অর্থনীতি বিভাগে ভর্তি হন। ১৯৩৬ সালে তিনি প্রথম শ্রেণিতে স্নাতকোত্তর পাস করেন। তিনি লন্ডন স্কুল অফ ইকোনমিক্সে অধ্যাপক হ্যারল্ড লাস্কির অধীনে পিএইচডি করার জন্যে লন্ডন গমন করেন; তবে লাস্কি পরলোকগমন করায় তাঁর থিসিস মূল্যায়ন করার মতো কেউ নেই এই বিবেচনায় তিনি থিসিস জমা না-দিয়েই (অর্থাৎ কোনো ডিগ্রি ছাড়াই) দেশে প্রত্যাবর্তন করেন। তাঁর জ্ঞানের পরিধি বিস্তৃত ছিল বিশেষত প্রাশ্চ্যতত্ত্ব, ইতিহাস ও রাজনীতিতে। তিনি 'শিক্ষকদের শিক্ষক' হিসেবে অভিহিত হতেন। তাঁর অনুগামীদের মধ্যে শুধু বুদ্ধিজীবী নয়, শেখ মুজিবুর রহমানসহ অনেক রাজনৈতিক নেতাও ছিলেন। ১৯৩৬ সালে তিনি ঢাকা বিশ্ববিদ্যালয়ের রাজনৈতিক-অর্থনীতি বিভাগে প্রভাষক হিসেবে যোগ দেন। পরবর্তীতে এ বিভাগ থেকে অর্থনীতি এবং রাষ্ট্রবিজ্ঞান দুটি পৃথক বিভাগ প্রতিষ্ঠিত হলে তিনি রাষ্ট্রবিজ্ঞান বিভাগে যোগ দেন। পদোন্নতির আবেদন করতেন না বিধায় তিনি দীর্ঘকাল জ্যৈষ্ঠ প্রভাষক হিসেবে কর্মরত ছিলেন। ১৯৭৫ বাংলাদেশ সরকার তাঁকে জাতীয় অধ্যাপক হিসেবে নিয়োগ দিলে তিনি ঢাকা বিশ্ববিদ্যালয় থেকে অবসর নেন।