נצלו מכליאה במחנה-הסגר כנתיני האויב והורשו לצאת להולנד ומשם עברו לאנגליה. נתמנה לחזן ראשי ב"התאחדות בתי-הכנסיות" בראשותו של הלורד רוטשילד ואח"כ לחזן ב"בית-הכנסת הברודי" במנצ'סטר. אחרי המלחמה ערך מסע תפילות וקונצרטים במרכזי הישוב היהודי באמריקה ונחל תהילה רבה. בניו-יורק ערך את תפילות ההשכבה בהלויתו של מנחם שיינקין. הכבוד הרב בגולה לא נתן סיפוק לנפשו ובשנת 1926 עלה ארצה ונתמנה לחזן בבית-הכנסת הגדול בפתח-תקוה. התנאים החמריים לא היו טובים למדי, אך הוא נשא את סבלו ומחסורו בדממה. ובהופיעו לתפילה בפ"ת, ופעם בימים נוראים בבית-הכנסת הגדול בת"א, הקסים את הקהל והמשיך ליצור ולעבוד את עבודת הקודש.
בשעות הפנאי היה שוקד על לימוד תורה, וכן היה מרבה לפזר מכספו אף בזמני דוחקו, וכל-שכן בשנות השפע, לתמיכה בנצרכים ובמוסדות תורה וחסד (אף את ההכנסה מתפלתו הראשונה כאורח בביתהכנסת "החורבה" בירושלים הקדיש למוסדות תורה וחסד).
השאיר אחריו בכתב-יד הרבה מיצירותיו: קומפוזיציות חזניות, מחקרים במוסיקה היהודית ותרגומים לאופרות.
בפעם האחרונה בחייו הופיע באזכרה לחללי הגנת פתח-תקוה ביום הזכרון בשנת תרפ"ח והזיל דמעות מעיני הקהל הרב. אז כבר היה שבור ורצוץ בגופו ובנפשו אחרי מות בנו יחידו אברהם, מחניכי מקוה ישראל, בדמי ימיו, וכשגברה מחלתו נתקבל לביתהחולים "ביקור חולים" בירושלים.
שם נפטר ביום י"ח אב תרפ"ח ונקבר בהר הזיתים.
צבי (הרש, גרשון) הרכבי
נולד, בייקאטרינוסלאב (כיום דניפרופטרובסק), אוקראינה, כ"ט שבט תרס"ח (1908), לאביו ר' יהודה ליב (מהנדס, מצאצאי הגאון ר' מרדכי יפה בעל ה"לבושים", ר' שמואל שטראשון - רש"ש - מוילנה בעל ההגהות על הש"ס, ור' גרשון הרכבי מנובוגרודוק שליד וילנה, מתלמידי הגר"א, עלה ארצה באחת השיירות הראשונות של תלמידי הגר"א לפני שנת תק"פ, היה מראשוני עדת הפרושים בארץ ונפטר סמוך לרעש הגדול של שנת תקצ"ז (1837) בצפת. הוא שקיבל את שם המשפחה הרכבי - לפי מסורת המשפחה מבוטא בב' רפויה ונגינה מלעיל - בעת שהמלכות ברוסיה גזרה על היהודים ב-1804 לקבל שמות-משפחה, ומשפחתו העמידה רבנים, מופרים וחוקרים ברוסיה ובארץ ישראל) ולאמו רעיה בת ר' משה כרפס מייקאטרינוסלאב (היה עשיר גדול ונדבן מפורסם; תרם ליסוד התכניון החיפאי 10.000 רובל באמצעות ד"ר שמריהו לוין , רכש מגרש בתל-אביב לפני מלחמת-העולם הרא שונה, השקיע הון בחברה "השקאה" ותרם בשנות המלחמה ההיא סכומים גדולים לצרכי הציונות באמצעות הד"ר יחיאל צ'לנוב) .
למד בבית-ספר עממי ותיכוני סובייטי וקיבל חינוך עברי ותורני במחתרת והיה בבחרותו מפעילי הציונות במחתרת.
בתרפ"ו עלה ארצה ולמד בסמינר למורים מזרחי בירושלים, היה זמן-מה מורה בביה"ס "מעלה" בירושלים, למד באוניברסיטה העברית, היה ראש ברית הסטודנטים הדתיים "יבנה", חבר ועד הסטודנטים, חבר ועד התאחדות הסטודנטים בארץ, ציר בועידות הסטודנטים בארץ- חבר מרכז "מגן" (לעזרת הנרדפים על הציונות ועל קניני היהדות ברוסיה), השתתף בפעילות ב"הפועל המזרחי" והנהו חבר מרכזו והיה ציר בועידותיו הארציות. פעל כשליח המזרחי, הפועל המזרחי ותנועת תורה ועבודה בארגון התנועה, הכשרה חלוצית ועליה ובהוראה בארצות הבלקן, הבלטיקום, איטליה, פולין, מצרים וסוריה, היה ממיסדי המזרחי ותנועת תורה ועבודה בבולגריה, ראש תורה ועבודה ביון וכו'. פרסם כ-150 מאמרים בעברית, באידית, באיספניולית ובשפות אחרות בעתונים בארץ ובארצות פעולתו בגולה. השתתף כציר בועידה העולמית של המזרחי בתרצ"ה בקראקוב. ממארגני איגוד סופרים דתיים וחבר ועדו המרכזי.
כינויים ספרותיים: גרשון ירושלמי, ה. צבי, צ . ה., י. גרשון, י. ג, ג. י .
השתתף בפועל בהגנת בית-הכרם בעת מהומות תרפ"ט.
בשנת תש"ד נשא לאשה את דינה בת הרב ראובן כ"ץ , הרב הראשי לפתח תקוה (מצד אמה - מבית משכיל-לאיתן ממינסק).
מנהל הוא את "הוצאת הספרים הארץ-ישראלית".