חכם מרדכי שרעבי נולד בשנת תרס"ח כשהוא יתום מאביו שנפטר תקופה קצרה לפני שנולד, וכשהיה בן שנתיים נפטרה גם אמו, אז עבר חכם מרדכי יחד עם אחותו להתגורר בבית סבו חכם אברהם יפת תעיזי, שלימדו תורה ודאג לכל מחסורו.
בהיותו בחור נסמך חכם מרדכי לרבנות, ועבר ללמוד בישיבה של הגאון חכם משומר ניסים, ושם עבר בהצלחה מבחנים בגמרא, רמב"ם, שולחן ערוך ועוד.
בשנת תרצ"ב עלה חכם מרדכי לארץ ישראל והתיישב בעיר ירושלים, שם למד בישיבות המקובלים 'בית אל' ו'שער הציון', ולימים אף ייסד את ישיבת המקובלים 'נהר השלום', בה הרביץ תורה וקבלה במשך שנים רבות.
חכם מרדכי שרעבי זיע"א היה מפורסם כבעל מופתים גדול, ורבים מתושבי ירושלים היו נוהגים להשכים קום על מנת להתקבל בביתו לעצה ולברכה.
מנהג יוצא דופן היה לחכם מרדכי, בו הוא היה יוצא לרחובה של עיר ומחלק כסף לבני נוער על מנת למושכם להיכנס לבית המדרש וללמוד תורה. את הכספים שהיה מקבל מהאנשים, הקדיש להחזקת הישיבה, ולתמיכה בנזקקים.
תלמידיו של חכם מרדכי סיפרו במשך השנים כי הוא נהג לישון בלילה במשך 20 דקות בלבד,
עוד נהג המקובל לערוך מעמד 'התרת נדרים' בכל יום שישי.
במשך שנותיו התפרסם המקובל חכם מרדכי, כמי שלימד תורה את מרן מאור העולם רשכבה"ג חכם עובדיה יוסף זיע"א, ובמשך השנים שלאחר פטירתו התבטא מרן זיע"א  ואמר כי חכם מרדכי היה גדול הדור, וכי כמוהו לא היה בקבלה.
חכם מרדכי שרעבי נפטר בכ' בחשוון בשנת תשמ"ד, והוא נטמן בהר המנוחות בירושלים, ללא שהשאיר אחריו ילדים.
זכותו יגן עלינו ועל כל ישראל.
הדליקו נר לכבוד ולע"נ הצדיק רבנו מרדכי בן מרים (שרעבי) זיע"א ותזכו לישועות אמן.