סיפור מעניין סיפר בנו של מרן וחבר מועצת חכמי התורה הגאון רבי דוד יוסף שליט"א:
"היה זה לפני כארבעים שנה, כאשר אבא ישב בבית הדין הגדול ביחד עם הגרי"ש אלישיב והגרי"ב ז'ולטי זצ"ל.
אני הייתי רגיל להחזיר את אבא לאחר שהסתיימו הדיונים מבית הדין לביתו. באחת הפעמים הגעתי לחדר הדיונים וכבר הסתיימה הישיבה, ואז סיפר הרב ז'ולטי לדיינים שהתעוררה אצלו שאלה הלכתית. הוא הציג את השאלה ובדבריו אמר שיש לו ראיה מהתוס' להתיר, הרב אלישיב הגיב על כך שהראיה מהתוס' לא מוכרחת, והחל ויכוח ביניהם. הרב אלישיב אף הוסיף לרב ז'לוטי שיש לו ראיה מגמ' מסוימת לאסור, והרב ז'ולטי התווכח עמו זמן רב, ואילו אבא ישב כל העת ושתק.
הרב ז'ולטי שהתפלא על שתיקתו של אבא, שאל את אבא מדוע הוא שותק, וביקש ממנו שיחווה את דעתו בנידון. ואז נענה אבא ואמר לרב ז'ולטי שהסברא שלו מהתוס' הובאה בשו"ת פלוני, והדחיה של הרב אלישיב מאותה גמ' הובאה בשו"ת פלמוני, ויש עוד ראיות בנושא, וכך החל אבא לצטט להם מעוד ספרי אחרונים רבים וקבע שאחד מהם הוא הצודק. היה מפליא לראות כיצד אותם גדולי עולם עומדים פעורי פה אל מול דבריו של אבא נדהמים למשמע אזניהם ומקבלים את דעתו".
(שר וגדול).