בתקותם שבשובו ארצה יהיה מגדולי הרבנים בירושלים. יחד אתו יצא ללמוד ר' מיכל כהן , חברו מילדותו, שנתים למד בעיירה פודברזה והגיע לידיעה רבה בש"ס ופוסקים. הוצעו לו משרות רבנות בגולה, אך הוא השיב, שאין בדעתו להתפרנס מהתורה ומוטב להתפרנס מיגיע כפיו בארץ-ישראל מלהיות רב ומנהיג בחו"ל. יחד עם חברו הנ"ל יצא לקניגסברג שבפרוסיה, למדו בשלשה חדשים את מלאכת הליטוגרפיה (ואף תרגמו לעברית חוברת המכילה את תורת המלאכה הזאת), רכשו להם (בכספי הנדוניה של ר' יואל משה) מכונה ומכשירים לליטוגרפיה וחזרו ירושלימה לעסוק במלאכה.
חלק מהמכשירים נשבר בדרך, ובנותר עבדו, אך העבודה לא הכניסה די פרנסתם. אח"כ צרפו להם שותף שלישי, את ר' יחיאל ברי"ל חתנו של ר' יעקב ספיר (הוא התייר הנודע, בעל "אבן ספיר"), רכשו להם מכונת דפוס ואותיות מעטות ופתחו את בית-הדפוס העברי השני בירושלים (הראשון היה של ר' ישראל בק , שהתנגד להתחרותם בשל איסור "הסגת גבול" והתדיין עמהם בענין זה) והחלו לעבוד בו בעבודה עצמית. בהיות להם דפוס החלו להוציא באדר תרכ"ג את העתון העברי הראשון, הירחון "הלבנון" בעריכתו הראשית של ר' יחיאל ברי"ל ובהשתתפותם הקבועה של ר' יואל משה ור' מיכל הכהן.
היה בקי עוד מילדותו בתנ"ך וסיגל לעצמו סגנון עברי נמלץ ויפה בנוסח הימים ההם. עוד מילדותו נתגלתה בו נטיה להעלות רעיונות על הכתב, אלא שאז הוכרח להצטמצם, בגלל חוסר נייר, ולהסתפק בכמות הנייר שקנה בגרוש לחודש שדודתו מרים (אשת ר' אברהם יצחק טרכטנברג ) נתנה לו למטרה זו. משגדל ונתרחבו אפקי ראיתו ומחשבתו נתן ביטוי במאמריו בעתונו לרחשי לבו למען חיזוק הישוב והחיאת הארץ. בגלל קובלנה שנמסרה לממשלה, שאין רשיון ממנה לדפוס ולעתון, נסגרו העתון והדפוס. ר' יחיאל ברי"ל העביר את העתון לחו"ל ורימ"ס היה שולח לו שמה מאמרים, וכשהשיג חותנו של רימ"ס, בהשתדלות הציר האוסטרי באיסטמבול, רשיון לדפוס על שמו, קנה רימ"ס את חלקי שני שותפיו ומאז קיים הדפוס בירושלים בידי בניו ונכדיו עד היום.
עוד בתור אברך צעיר התמסר לעסקנות צבורית והשתתף בפעילות בכל המאמצים לביצור מעמדה של העדה האשכנזית בירושלים ומוסדותיה. בין השאר יש לציין את הפעולות להשגת שחיטה עצמאית לעדה האשכנזית, שבני העדה לא יהיו תלויים בשרירותם של הקצבים הספרדים ושיוכלו לקיים את מנהגיהם המקובלים בדיני כשרות, יסוד הועד הכללי כנסת ישראל - שתי הפעולות שיצרו שיתוף-פעולה בין הפרושים והחסידים, ועוד. היה גבאי בכמה מוסדות צדקה ובכל יום היה מרצה שיעור בתלמוד לקהל לומדים בבית המדרש.
בתרכ"ט היה אחד משבעת הראשונים שיסדו את שכונת "נחלת שבעה", כי לדעתו גרמה הצפיפות של הישוב היהודי בעיר העתיקה להתפשטות המגפה בו בתרכ"ו (בה נספו גם הוריו). אח"כ השתתף גם ביסוד השכונות "מאה שערים", "אבן ישראל" ועוד והשתדל בעד יסוד קרן "מזכרת משה" על שם סיר משה מונטי פיורי לבנין בתים בירושלים.
בתרל"ג נסע יחד עם ר' זלמן לעווי בשליחות העדה לאסוף כספים להרחבת בנין "ביקור חולים" ושכלול העזרה הרפואית ליהודי ירושלים, לבל יהיו זקוקים לחסדי המיסיון. באותו מסע ייצג את העדה בדין-תורה שנערך בליבורנו שבאיטליה בדבר עזבון גדול שהספרדים. תבעו את כולו לעצמם. בהופעתו לפני הבארון שמעון זאב רוטשילד הצדיק בפרנקפורט ע''מ הצליח להשיג את עזרת הצבור היהודי שבגרמניה לטובת "ביקור חולים".
בינתים לא הזניח את משאת-הנפש של אביו בדבר התישבות חקלאית. מצא לו חברים לדעה ולמעשה, יסדו את חברת "ישוב ארץ-ישראל" ומתרל''ה ואילך התמסר לפעולות למען יסוד מושבה חקלאית. טרח בכל הנסיונות לרכישת קרקע מקודם ליד יריחו, אח"כ את אדמת דוראן (רחובות לאחר זמן), ובסוף ברכישת אדמת פתחתקוה ובהתחלת העבודה בה. בשנת תרל"ז יסד וערך את עתונו "יהודה וירושלים" ועשה בו תעמולה נמרצת למען חיזוק הישוב בחומר וברוח, וביחוד למען התישבות חקלאית, ובתרל"ח הכריז על "כיתות עטו לאת". הפסיק את עבודתו העתונאית והצבורית בעיר ויצא להיות בין ראשוני החורשים והזורעים את אדמת ישראל. נשא את חלקו בכל הסבל והתלאות והקדחת שבימי בראשית של פתח-תקוה, וכשנתחדש הישוב בכפר יהודיה ליד פתח-תקוה, וגם אחרי שהחל בנין המושבה במקומה הקבוע נשאר עוד שנים אחדות עם כמה משפחות במושבם בכפר יהודיה ותמך בישיבה שנוסדה שם מטעם חברת "דגל תורה" בראשותו של הרב מרדכי גימפל יפה , בה היה מגיד השיעורים חתנו של ר' יואל משה סלומון הרב ראובן גוטפריד (ידידיה). כשנתפרדה חבורת הלומדים נענה לדרישת הרב שמואל סלנט, השאיר את שני בניו בפתח-תקוה וחזר לירושלים לעסוק בצרכי צבור ולהשתתף בניהול המוסדות. בינתים פחתה התמיכה לישוב הישן, בגלל החתענינות הכללית שנתעוררה בין יהודי רוסיה כלפי ההתישבות החקלאית, ומצב יהודי ירושלים ומוסדותיהם נתערער. אז נסע בגיל ששים שנה לוילנה. הצליח להשפיע על הגאון ר' חיים עוזר גרודזנסקי שיחזור בו מיאושו ויעמוד שוב בראש הגבאות לתמיכה בישוב הירושלמי, וכן השפיע על גדולי הקהלה בכוון זה, שיבינו את כל הנימוקים המדיניים והכלכליים המחייבים את קיומו של הישוב העברי העירוני בירושלים גם לטובת ההתישבות החקלאית ומעמדנו בארץ בכלל.
בשובו המשיך לפעול לטובת הצבור ומוסדותיו וביחוד לטובת "ביקור חולים" שהיה בו גבאי ראשי ואף זכה להתחיל בהקמת בנינו החדש.
בדרך מקרה נודע לו שיש אפשרות להקים ישוב חקלאי יהודי ליד רפיח בשטח שמעבר לגבול, באיזור חצי-האי סיני, שהיה אז נתון לשלטון בריטי ולעת זקנה נסע עם כמה עסקנים ומומחים לחקור את התנאים