סיפר נכדו חביבו של מרן זיע"א, רבי דוד טולידאנו שליט"א:
כמה פעמים שמעתי את סבא-מרן זיע"א, שהיה מתבטא בצער על שאנשים מסוימים מפורסמים שהוא כביכול ירד למצרים לכהן שם כאב בית דין בגיל צעיר מאד משום שהיה זקוק לפרנסה…
והיה מסיים בכאב ואומר: "וכי בשביל פרנסה ומוון הייתי עוזב את ארץ ישראל הקדושה? וכי בשביל ממון הייתי נוטש את גדולי הדור שחיו אז בארץ ישראל, ובראשם מורי ורבי הגאון רבי עזרא עטייה זצ"ל? המחסור והעוני לא הם
שגרמו לי לרדת מצריימה, באותם ימים היינו מוכנים לעסוק בתורה ולאכול לחם יבש… הסיבה שירדתי למצרים היא לקיים מצוות רבותי גדולי הדור, ובראשם מורי ורבי הגאון רבי עזרא עטייה זצ"ל שהם חייבו והכריחו אותי לעשות צעד זה, לזכות את הרבים ולהורות להם את הדרך אשר ילכו בה בגלות מצרים, וקיימתי בנפשי את מאמר הפסוק: לא תסור מכל אשר יורוך!…".
(משוש תבל).