स्वामी जी ने कहा, अत्याचारियों-दुर्जनों का संहार करते समय गले में मुंडमाल पहने, शस्त्र धारण किए, जिह्वा से टपकते रुधिर को देखकर अनायास आभास होता है कि वह आतंक की प्रतिमूर्ति हैं, जबकि वह भक्तों के लिए सौम्य और कृपामयी हैं।
उन्होंने कहा, ब्रह्म और काली, ईश्वर और उनकी क्रियाशक्ति-अग्नि और उसका दाहिका शक्ति के समान एक और अभेद हैं। उनके गुरु रामकृष्ण परमहंस ने मृत्यु से पूर्व कहा था, नरेन्द्र, मां काली तेरा पग-पग पर साक्षात मार्गदर्शन करती रहेंगी।
जीवन के अंतिम दिनों में स्वामी जी जिधर भी जाते, उन्हें मां काली की उपस्थिति का बोध होता। उन्होंने 'कालीः द मदर' कविता भी लिखी, जिसका निराला जी ने हिंदी में अनुवाद किया ।
