הורביץ סכום גדול לבנין בית לת"ת זה שנקרא בשם "בית יהודה". כן הצליח בהשפעתו על העשיר פרידלנד מפטרבורג שיתרום סכומים גדולים להרחבת בניני מושב זקנים וזקנות בירושלים.
בגלל מחלוקת שפרצה אז בירושלים בין מצדדי הרב משה יהודה ליב דיסקין מבריסק ובין מצדדי הרבשמואל סלאנט , שר' מרדכי גימפל לא רצה אפילו להיות בקרבתה של מחלוקת זו, יצא לו לכפר יהודיה, שבאותו זמן עוד נמצאו שם כמה שרידים ממתנחלי פתח-תקוה, שעדיין נשארו בדירותיהם שנבנו בכפר זה בעת חידוש הישוב בפתח-תקוה בתרמ"ג, כשפחדו לדור שם בגלל סכנת הקדחת, והמשיכו לדור כאן גם אחרי שהיישוב בפתח-תקוה כבר הלך וגדל. לכאן העביר הרב את ספריו הרבים והמשיך לעסוק בתורה בשלוה. באותו זמן נוסדה בירושלים ביזמת ר' מיכל הריסון (מנקר) ור' אליעזר סלנטר חברת "דגל תורה", שאמרה להקים מרכזים ללימוד תורה במושבות החקלאיות ולהחדרת קניני היהדות, והפיצה שטרי הגרלה לשם ביסוס כספי של המפעל. ומאחר שבכפר יהודיה כבר לא היה אז מנין לתפילה נענו ראשי החברה לבקשת הרב ושלחו לו 8 אברכים צעירים שילמדו אצלו וסיפקו להם דירה ומזון ואף תמיכה למשפחותיהם שנשארו בעיר. בשבתות היו בני הישיבה סועדים בבתי התושבים וסעודה שלישית, בתכנית עשירה של זמירות ודברי תורה ומוסר עד חצות הלילה, היו עורכים בבית הרב. פקידי הבארון ראו בעין רעה את הישיבה ואמרו כי "הישיבה מחריבה את הישוב", אך מאידך הרי השתקעותו של הרב בכפר והישיבה שיסד בו עשו רושם כביר על היהדות החרדית והתורנית בתפוצות הגולה וסתמו את טענות מתנגדי חיבת ציון, שההתישבות החקלאית בארץ גוררת פריקת עול התורה והדת, - והישיבה החזיקה מעמד כל ימי חיי הרב.
בין תלמידי ישיבתו ביהודיה : א) הרב מיכל הורביץ , דיין בירושלים; ב) הרב יוסף הלוי , חתן הרב נפתלי הרץ הלוי , כעת ראב"ד בתל-אביב; ג) הרב יעקב גוטמן , רב באמריקה; ד) הרב מיכל מושקין , מראשי ישיבת מאה שערים בירושלים, חותנו של ר' אליעזר ריבלין ; ה) הרב ראובן גוטפריד (ידידיה), חתנו של ר' יואל משה סלומון , היה מלמד ראשי בת"ת "עץ חיים"; ו) הרב ברוך בראוורמן , אחי הרב זרח בראוורמן מראשי ישיבת מאה שערים; ז) ר' זלמן סולובייצ'יק , תלמיד-חכם גדול, מראשוני הרוקחים בירושלים, ממנהלי ועד הכוללים ומראשי אגודת "אחוה".
הוא נחשב כמנהיג רוחני ודתי של המושבות החדשות ודאג לשלום הישוב החדש. בזמן הסכסוך בין אכרי עקרון, שסירבו לעבוד את האדמה בשנת השמיטה תרמ"ט, ובין פקידות הבארון שדרשה מהם לעבוד על סמך ההיתר והמכירה שסידר הבארון, שלח אליהם את ר' מרדכידיסקין מפתח-תקוה להטיף להם בדבר השלום, אף כי הוא עצמו היה מהמחמירים בענין שמיטה, ולפי עצתו יצאה אליהם משלחת מירושלים בראשות הרב שאול חיים הלויהורביץ מדוברובנה והשיבה את השלום על כנו.
אחרי מחלה קצרה בקדחת נפטר ביהודיה, כ"ה חשון תרנ"ב, והובא לקבורה בפתח-תקוה.
לזכרו נוסדה גמילות-חסד "זכרון מרדכי" בפתחתקוה. אשתו השניה טשישנא מלכה בת הרב נתנאל דוד , עסקנית שהקדישה 3 בתים לעניי כולל וילנה בשכונת כרם אברהם, נפטרה כירושלים, כ"ט אייר תרע"ו.
צאצאיו: א) יוסף , תלמיד-חכם גדול וסוחר בניקופול, פלך חרסון; ב) דב , נשא לאשה את חיה לאה בת ר' פישל לאפין מגרודנה (הוא "ר' פישל נגיד" מירושלים).
בניו: בצלאל יפה , ממיסדי ת"א, יו"ר ועד הקהלה ועסקן מרכזי של הישוב החדש; ליב יפה , משורר ופובליציסט, מראשי קרן היסוד ועסקן מרכזי בציונות; אברהם יפה (אבי העסקן שלמה יפה ), עסקן ציוני בגרודנה, עלה ארצה לעת זקנה ונפטר בארץ; ג) אליהו , תלמיד-חכם וסוחר גדול בסלונים, שהדפיס את חיבורי אביו: "זכרונות מרדכי", "הגדות מרדכי'' ו"אלף המגן"; ד) צבי , תלמידחכם גדול, חברו המובהק של הגאון ר' חיים סולובייצ'יק בוולוזין ובבריסק. בניו: ברוך יפה , מנהל מחלקת העליה של הסוכנות בת"א; מרדכי יפה , חבר קבוצת גניגר, מעסקני ארץ-ישראל העובדת ו"חבר הקבוצות"; ה) יחז קאל , תלמיד-חכם גדול וסוחר בווילקובישקי, פלך סובאלק; ו) יעקב רבינוביץ , תלמיד-חכם מובהק ומשכיל, עסקן מפורסם, מנהל הבנק היהודי בלוצ'ין; ז) רבקה , אשת הרב יוסף זכריה שטרן משאוולי , מחבר הספר "זכר יהוסף" (נפטרה בירושלים, ב' כסלו תרע"א). צאצאיה: שמואל , סוחר גדול בעל ביח"ר לכלי בית בורשה (בנו הוא הסופר אנטול שטרן); רחל אשת העסקן מרדכי זק"ש מראשי הציונים ברוסיה, ממיסדי בנק "אשראי" בת"א; חיה קילה אשת הרב ר' יעקב דב רפפורט, רב בריבנישקי וזיימל (רוסיה), עלה לא"י ושמש רבה הראשון של כפר-סבא (בנה נתן נפל בהגנת פ"ת בניסן תרפ"א); ח) יוכבד , אשת הרב צבי הכהן וואלק מפינסק מחבר פירוש "כתר כהונה" על הספרי (כעת בירושלים). צאצאיה: הרב יעקב וואלק, לאחר מות אביו היה יחד עם הרב יעקב יצחק הינדין, תלמיד אביו, ממלאי מקום הרב בפינסק וכעת בירושלים; דוד , פרופיסור לחימיה בפריס (ובעל תואר קצין לגיון הכבוד); טוביה , מהנדס בלונדון;חיה הינדה אשת צבי שרשבסקי מוילנה (נרצחה עם בני משפחתה בנובוגרודק ע"י הגרמנים); פשה , סופרת ועסקנית התנוך החרדי; מרדכי גימפל (היה שנים אחדות עסקן מרכזי באגודת ישראל העולמית, מעורכי "הדרך" בוינה, ייסד בת"א בנק בשם א"י-אמריקה); גיטה , מעסקניות החנוך החרדי בליטה; עזריאל , מעסקניה המרכזיים של תנועת צ. ס. (ציונים-סוציאליסטים) בליטא, מעסקני הקואופרציה האשראית של הבנקים העממיים היהודים בליטא, מעובדי ועדת הבקורת המרכזית בועד הפועל של הסתדרות העובדים הכללית בת"א.