8 वर्ष की उम्र में पिता की मृत्यु के बाद साई बाबा को सूफी वली फकीर ने पाला, जो उन्हें एक दिन ख्वाजा शमशुद्दीन गाजी की दरगाह पर इस्लामाबाद ले गए। यहां वे कुछ दिन रहे, जहां एक सूफी फकीर आए जिनका नाम था रोशनशाह फकीर।
रोशनशाह फकीर अजमेर से आए हुए थे और इस्लाम के प्रचारक थे। रोशनशाह को सांई में रूहानीपन नजर आया और हरिबाबू (सांई) को लेकर अजमेर आ गए। इस तरह सांई वली फकीर के बाद रोशनशाह के साथी बन गए।
अजमेर में सांई बाबा सूफी संत रोशनशाह के साथ रहे। वहां उन्होंने इस्लाम के अलावा कई देशी दवाओं की जानकारी हासिल की। कुरआन को उन्होंने मुखाग्र कर लिया था। सिरा, सुन्ना, हदीस, फक्का, शरीयत तारिखान को भी याद कर लिया। इस्लाम की इन धार्मिक शिक्षाओं में वे पक्के हो गए, तब उनकी उम्र थी मात्र 12-13 वर्ष।
इस दौरान सांई बाबा ने जहां इस्लाम और सूफीवाद को करीब से जाना वहीं उनके मन में पिता और गुरु के द्वारा वेदांती शिक्षा की ज्योति भी जलती रही। भीतर से वे पक्के वेदांती थे तभी तो उनको दूसरे मुस्लिमों ने कई बार इस्लाम कबूल करने के प्रस्ताव दिए, लेकिन हर बार उन्होंने इसको दृढ़ता से खारिज कर दिया। वे धर्म-परिवर्तन के कट्टर विरोधी थे।
रोशनशाह एक बार धार्मिक प्रचार के लिए इलाहाबाद गए, जहां हृदयाघात से उनका निधन हो गए। रोशनशाह बहुत ही पहुंचे हुए फकीर थे और वे मानवता के लिए ही कार्य करते थे। वे इस्लाम के प्रचारक जरूर थे लेकिन उनके मन में किसी को जबरन मुसलमान बनाने की भावना नहीं थी। रोशनशाह के जाने के बार हरिबाबू (सांई) एक बार फिर अनाथ हो गए।
