הראשי הרשמי הרב שמואל סלנט . הוא סבל באותה תקופה צרות ורדיפות רבות מצד הללו (שגדולי הרבנים לא הצטרפו אליהם), ואם כי הוא לא נרתע מפני החרמות והשיקוצים, הצליחו הקנאים להפחיד את הורי הנערים לומדי המלאכות, בלחץ ובאיומים לשלילת ה"חלוקה", וכך נתבטל המפעל. בתקופת רדיפות אלה פרסם את מאמרו בשם "שמעו הרים ריבי".
למרות הרדיפות וההתנגדות המשיך בפעולותיו לטובת הישוב בעיר ובכפר. בתרמ"ה השתתף עם הרי"ד פרומקין בפעולות חברת "עזרת נדחים" לשיכון עולי תימן בשכונת "משכנות ישראל" ובכפר השילוח. באותה שנה נבחר לועד הפועל הירושלמי של ועד "חובבי ציון"' ביחד עם ד"ר זאב הרצברג , נסים בכר, משה ויטנברג ואליעזר בן-יהודה באספה שנערכה בימי ג'-ד' סיון תרמ"ה בראשות הנדיב ר' קלמן זאב ויסוצקי ממוסקבה שבא אז ארצה בשליחות "חובבי ציון" שברוסיה. פעל רבות לטובת מתנחלי פתח-תקוה ויסוד המעלה וישב זמן בחבורת לומדי התורה בכפר יהודיה שליד פתח-תקוה יחד עם גיסו (בעל אחותו גולדה ) הסופר והמלומד רבי זאב יעבץ , בראשות רבו הרב מרדכי גימפל יפה .
בועידת חובבי ציון בדרוסקניק, בתרמ"ז, נתמנה למזכיר הועד הפועל של חו"צ ביפו (במקום אלעזר רוקח , שפוטר בגלל התנגדותו החריפה לפקידות הבארון והחשד שהוא היה ממארגני מרד האכרים נגד הפקידות בראשון לציון). בתרמ"ח עבר ליפו לעבודתו במשרה זו והשתתף בפעילות בפיתוח חיי הצבור היהודי ביפו. כחבר לשכת "ירושלים" של "בני ברית" (בשנות תר"ס-ס"ד היה נשיאה) שעזר למיסדה ד"ר הרצברג ביסוד לשכת "שער ציון" ביפו ונבחר לנשיאה הראשון, השתתף ביסוד ועד הקהלה הראשון ביפו (כ"ז סיון תר"ן) ונבחר לחבר בו, יחד עם חיים שמרלינג, מאיר המבורגר, י. הרצנשטיין, בצלאל לאפין, יעקב גולדמן (המזכיר), א .י. דונדיקוב ושמעון רוקח. השתתף עם ר' שמעון רוקח ביסוד בית-החולים "שער ציון" (בהנהלת הד"ר מנחם שטיין ), בחידוש הספריה "שער ציון" (שנוסדה על-יד חברת "עזרת ישראל" ונסגרה עם ביטול החברה), ויחד עם הרב יעקב מאיר פעל למען צירוף הספרדים לועד הקהלה, ובאדר ב' תרנ"א צורפו נציגיהם אהרן שלוש, נסים הכהן. שלמה ארווימי ויוסף משה לועד-הקהלה הראשון בארץ שהיה משותף לאשכנזים ולספרדים ובהשפעתו הוחלט ששפת הדיבור בועד תהיה העברית.
עוד קודם לכן היה בירושלים מהראשונים בהצטרפו לא. בן-יהודה לדבר ביניהם רק עברית ואף יסד אתו יחד חברה בשם "תחית ישראל". השתדל להמציא עזרה חמרית למשורר נפתלי הירץ אימבר (מחבר "התקוה'') בעת שהותו בארץ.
בתרנ"א היה יחד עם יצחק אייזיק בן-טובים חבר הועד הפועל הארצי של חו"צ בראשותו של זאב טיומקין . הצטרף לאגודת "בני משה'' מיסודו של אחד העם והיה מראשי פעיליה בארץ. אך בגלל מורת-רוחו מהאדישות לדת בבית-הספר שביפו פרץ סכסוך בינו ובין עסקני "בני משה" ביפו, והוא ובן-טובים פרשו ממנה והיו למתנגדיה. כן התנגד בחריפות להיתר שנתנו הרבנים בתרמ"ח לעבוד את האדמה בשמיטה.
בשנותיו האחרונות היה שוב תושב ירושלים כסופר בית-החולים "ביקור חולים" של הישוב הישן, המשיך להשתתף בחיים הצבוריים והתרבותיים של הישוב החדש כחבר "בני ברית", חבר ועד הלשון, חבר ועד בית-הספרים "בית נאמן" (ו"מדרש אברבנאל" - הגרעין הראשון של בית-הספרים הלאומי והאוניברסיטאי), מורה לתלמוד בבית-המדרש למורים ומיוזמיה ומיסדיה (יחד עם מרדכי אדל מן, יהושע ברזילי, דוד ילין וזאב ליבוביץ ) של לשכת-המודיעין המתנדבת (נפתחה בי"ד אייר תרס"ו). בו בזמן הרבה לעסוק בגמילות חסדים, במתן עזרה ועצה לדורשיו והוא ורעיתו היו מקבלים ברצון ובסבר פנים יפות את הבאים לבקש את עזרתם.
בשנותיו האחרונות היה אחד מגבאי מושב זקנים, כיום מושב זקנים המאוחד בירושלים.
ספריו: "ילדי רוחי" (בשני כרכים, הוציאו בראשונה במגנצא, תרל"ב : יצא במהדורה חדשה בתרצ"ד עם מבואות מאת חתניו דוד ילין ויוסף בר"נ מיוחס , ובתרצ"ט יצאו שני כרכים נוספים המכילים את יומניו, מכתביו ומאמריו בדבר בנין הארץ); "תורת משפטי תוגרמא" ביחד עם חתנו דוד ילין (תרמ"ז): ספר עבודת האדמה בסוריה בכלל, ובארץ ישראל בפרט מאת ד"ר אנדרלינד בתרגומו (הדפסה מיוחדת מעתון "הצבי"' תרמ"ז) "ספר הכח", בעקבות בלפור סטוארט (תרנ"ד) : "מבוא למעשי-בראשית" (פתיחה למדעי הטבע, בעברית מקראית ובסגנון קל - קטעים מספר זה נדפסו ב"כנסת ישראל" של שפ"ר, כרך ג'). תרגם מגרמנית את ספרו של ד"ר זאב הרצברג: "כתבי משפחה עבריים" וכן ערך את הספר "עולם קטן" לד"ר בנימין שרשבסקי.
בראשית תרע"ג חלה מחלה אנושה, נסע להתרפא בבית-החולים של קהלת יפו, ושם נפטר ביום ז' אדר ב' תרע"ג והובא לקבורה בירושלים.
על שמו נקרא מושב העובדים כפר פינס של הפועל המזרחי בשומרון, רחוב בת"א ורחוב בזכרון משה בירושלים.
צאצאיו: שרה רחל אשת יצחק כלב, איטה אשת פרופ' דוד ילין, מרגלית אשת יוסף בר"נ מיוחס, נחמה אשת נח קרלינסקי .