כאשר משפחתו של מרן זיע"א מנתה אחד עשר ילדים, עברה המשפחה לגור בבית משלה, ברחוב אלקנה 8 בירושלים. בני המשפחה חילקו את ארבעת חדרי הבית ביחד עם אלפי ספרי הקודש של מרן זיע"א.
התכולה בבית הייתה מינימאלית ביותר, מרן לא יכל לרכוש מטות של קבע לילדיו, ועל כן הם נאלצו לישון על מיטות מתקפלות. גם שאר הריהוט שבבית היה מיושן, ארגזים של קרח שימשו כתחליף למקרר… לימוד תורה מתוך דוחק, פשוטו כמשמעו.
"כשמלאו לי חמש שנים, אני זוכר את אבא מגיע לבית עם חיוך ומאחוריו כמה סבלים", נזכר הגאון רבי דוד יוסף שליט"א, בנו של מרן וחבר מועצת החכמים, "אבא פדה כמה חסכונות והצליח לרכוש מקרר ומכונת כביסה, ואנחנו הילדים עמדנו בפתח הבית, שרנו וקרענו ברגליים משמחה כשהועמד המקרר במטבח. העניות בבית הייתה גדולה מאד, מעולם לא קנו בגדים חדשים, הבגדים עברו מבית לבית, ואבא קנה מכונת תפירה כדי שאימא תוכל לתקן בעזרתה את הקרעים שהיו בבגדים שלנו, ולמרות העוני והמחסור הגדול ששרר בבית אבא המשיך בשקידתו ובהתמדתו בתורה הקדושה".
(משוש תבל).
