به گزارش ایسنا به نقل از «نامه‌نیوز»، در کتاب خاطرات مصطفی حائری‌زاده از اعضای شورای مرکزی حزب جمهوری اسلامی که از سوی مرکز اسناد انقلاب اسلامی منتشر شده، آمده است: «آقای خلخالی یکی از اطرافیان امام بود که اغلب در بیت ایشان حضور داشت. روزی ایشان دم در، یکی از مراجعه‌کنندگان را از دیدار امام محروم کرده و گفته بود آقا الان وقت ندارد، باید وقت می‌گرفتید یا چیزی در این زمینه. آن روز ما به اتفاق مرحوم عراقی و چند نفر دیگر از دوستان در حضور امام بودیم. وقتی امام متوجه مکالمه آقای خلخالی با مراجعه‌کننده‌اش شد، با لحنی عتاب آمیز صدا زد: «خلخالی! خلخالی! بیا اینجا ببینم.» آقای خلخالی گفت: «بله آقا!» جلو آمد و در مقابل امام ایستاد. امام فرمود: «بگو ببینم نکند اینجا دربار شده و تو هم وزیر دربار هستی؟» آقای خلخالی پرسید: «چه شده آقا؟» و امام دوباره تکرار کرد: «نه، می‌پرسم اینجا دربار شده؟ تو وزیر دربار من شدی؟ چرا به کسی که می‌خواست وارد شود گفتی وقت ندارد یا وقت گرفتی؟» سپس با ناراحتی بیشتر فرمود: «اصلا تو اینجا چه کاره‌ای؟ برو بیرون نمی‌خواهم اینجا باشی.»
آقای خلخالی بنده خدا، وسط اتاق خشکش زده بود. در آن موقع خیلی جوان بود و همراه با آقا مصطفی فرزند امام درس می‌خواندند. یکی از روحانیون حاضر در مجلس او را کنار کشید و گفت: «الان آقا عصبانی است. بهتر است شما چند روزی اینجا نباشید و به تهران بروید.» آقای خلخالی هم به تهران آمد و یک هفته‌ای در تهران ماند تا خشم امام نسبت به ایشان فروکش کند.»
