भैरवगढ़ नदी के छोर पर शहर से तीन मील दूरी पर है। प्राचीन अवन्तिका इधर बसी हुई है। अब भी एक उपनगर के समान यहां की भी बस्ती है। छपाई के काम करने वाले लोग अधिकांश यहां रहते हैं। इस स्थान के प्रमुख देव भैरव हैं। यह बस्ती टीले पर बसी हुई है। इस कारण भैरवगढ़ के नाम से इस स्थान की ख्याति है। पश्चिमोत्तर दिशा की ओर अधिकांश भाग में शहर पनाह (पत्थर की ऊंची दीवार) बनी हुई है। इसमें अंदर ही शिप्रा के उत्तर तट पर 'कालभैरव' का सुविशाल मंदिर है।
मंदिर के पास नीचे शिप्रा नदी का घाट बहुत बड़ा और सुंदर पुख्ता बना हुआ है। प्रवेश द्वार बहुत भव्य ऊंचा बना हुआ है। द्वार के अंदर प्रवेश करने पर दीप स्तंभ खड़ा दिखाई देता है। बाद में मंदिर हैं। कालभैरव की मूर्ति भव्य एवं प्रभावोत्पादक है। मूर्ति को मद्यपान कराया जाता है। मुख में कोई छेद नहीं है। यह यहां का आश्चर्यपूर्ण चमत्कार है। कई बार मूर्ति की वैज्ञानिकों और शोधकर्ताओं ने पड़ताल की है लेकिन वे भी इस रहस्य को जान नहीं सके हैं कि प्रतिमा कैसे मदिरापान कर लेती है जबकि कोई छिद्र नहीं है। कहते हैं कि यह मंदिर 'राजा भद्रसेन' का बनाया हुआ है। मंदिर पर खुदाई का काम किया हुआ है। नदी में जल खूब भरा रहता है। यहां भैरव अष्टमी को यात्रा लगती है और भैरवजी की सवारी निकलती है। यह मंदिर अतिप्राचीन है। पुराणों में अष्ट भैरवों की प्रसिद्धि है। उनमें ये प्रमुख हैं। प्रसिद्ध तांत्रिक गोपीनाथ, रामअवधेश, सुधाकर, मौनीबाबा और केलकर सा. अक्सर यहीं साधना करने आते हैं।
बाईं तरफ के द्वार से बाहर हैं किले की ओर जाने का मार्ग। यह किला लगभग 300 हाथ लंबा और 30 हाथ ऊंचा है। इसी जगह पहले सम्राट अशोक ने उज्जैन का जेलखाना बनवाया था। सम्राद अशोक के काल में इसे 'नरक या नरकागार' कहा जाता था। आज इसमें उज्जयिनी का बड़ा जेल है। इस जेल के कैदी द्वारा निर्मित भेरूगढ़ प्रिंट की चादरें विख्यात हैं। जेल में हाथ की कती-बुनी दरी वगैरह बनाई जाती है।
