את הרעיון להוציא למרחב את הישוב מהמחנק אשר בין חומות העיר העתיקה ומהתלות בשרירותם של הערבים משכירי ה"חצרות" ולהרחיב את משכנות ישראל מחוץ לחומה ובכל הארץ, - בו בזמן, שהיתה סכנה ליהודי להשאר אחרי שקיעת החמה מחוץ לשערי העיר הסגורים בלילה מאימת שודדים ורוצחים.
כשנתארש בשנת תר"טו עם שרה ציפה בת ר' יהודה ליב גולדשמיד , הודיע לה באמצעות אחיה, ר' משה יצחק גולדשמיד , מטובי העסקנים בירושלים ומרחיבי ישובה, שבדעתו ליסד ישוב חדש מחוץ לחומה ולהתישב בו ראשונה. המשפחה נבהלה ואמרה לבטל את השידוך, אך הכלה אמרה שהרעיון מוצא חן גם בעיניה. משפחתו חשבה, שרעיון זה בא לו מאת "דיבוק המדבריות" שנכנס בו ומושך אותו למקומות שוממים, ולעצת הגאון מהר"מ אוירבאך עשו בעזרת "מומחים" כל מיני סגולות ולחישות לגרש ממנו את הדיבוק, אך לשוא.
אחרי חתונתו המשיך ללמוד חצי היום בישיבת "עץ חיים" ואצל הגאון ר' משה יהודה ליב מקוטנא, בעל "זית רענן", ונוסף לכך עבד כעוזר בכתיבה לקרובו ר' יוסף יואל ריבלין סופר כולל הפרושים ובעבודת תעמולה שבכתב למען יסוד "בתי מחסה" ובנין בית-הכנסת "החורבה". כך נתקרב לעסקנות צבורית ובהיותו מחונן בכשרון של נואם מלהיב ומשכנע החל להשתמש ביכלתו שבכתב ובעל-פה לרכוש עוורים להגשמת רעיונו.
עוד בתרט"ו פרסם מכתב חוזר בדבר חובת בנין ירושלים והסתמך בו על רמזים וגימטריאות בכתבי הקודש, שהיה מצליח למצוא אותם בכל פסוק שביקש והיה כותבם במכתבים, על ניירות פנויים ועל כתלי בית-הכנסת והישיבה ואפילו על סדינים, כי רעיון זה רתח וגעש בקרבו ולא נתן לו מנוח. רבים חשבוהו למשוגע, והראשון שהסכים לדעתו היה ר' אריה ליב הורביץ ("לומזר"). הגאון רבי שמואל סלנט לא נחפז להסכים לו, אך "שמר את הדבר" כחלום טוב שעתיד להתקיים.
בתרי"ז יסד חברה בשם "בוני ירושלים" לשם שיכון מחוץ לחומה, החל לאסוף חברים שיחתמו על הסכמתם לכך ושלח בענין זה מכתבים לקרוביו האמידים בשקלוב ובמוהילב, למרכז הכולל ולועדים למען ארץ הקודש באמסטרדם ובלונדון ולאישים שונים בחו"ל. בראות כמה מידידיו וקרוביו שהוא מתחיל לעסוק ברצינות ב"שטות" זו, כתבו לקרוביהם ברוסיה, שיזמינוהו שמה לזמן-מה, כדי שבינתים תתנדף מחשבה מטרידה זו ממוחו. ואכן הזמינוהו שני דודי אביו: הגביר ר' שמריהו לוריא ממוהילב (חתנו של רבי הלל ריבלין , "החזן ציון", וחותנו של הרי"מ פינס ) והגביר הגאון רבי שלמה זלמן ריבלין - ואף שלחו לו להוצאות הדרך. (אתו יחד נסעו אז ר' מיכל הכהן ויואל משה סלומון , שנסע ללמוד את מלאכת הליטיגרפיה).
קרוביו לא גירשו ממנו את ה"דיבוק", אלא להיפך - נדבקו בו גם הם, ואף אספו 800 רובל, שהופקדו אח"כ בקופת כולל הפרושים וכיסו חלק מן ההוצאית הכלליות לרכישת האדמה לשכונה הראשונה נחלת שבעה. כשחזר מרוסיה הצטרפו אליו אף אנשים בעלי משקל בצבור של אז, הובאו לו הצעות בדבר קרקעות למכירה והיה טורח לסייר ולמדוד את הקרקעות ולבדוק את הזכויות" שעליהן, כדי שהקניה תהיה נקיה מכל עוררין.
בו בזמן כבר החל לכתוב בעתונים למען ירושלים ובנינה וכתבות מהארץ ובעניני הישוב והצבור. הוא כתב בעתונים; "המגיד", "הלבנון", "הכרמל", "העברי", "חבצלת", "המליץ", "הצפירה", "הצבי" ועוד, בחתימת שמו ובכינויים שונים (אחד מהם היה "אדי"ר", ר"ת: אלה דברי יוסף ריבלין). וכבר בגיל צעיר ניכר בו מי שעתיד להיות סופרה ושופרה של ירושלים הקמה לתחיה והנבנית.
בגיל צעיר החל לעסוק בפועל בעניני צבור, השקיע מרץ רב באיחוד כל הכוללים האשכנזיים ב"ועד הכללי - כנסת ישראל" (בתור המוסד הישובי העליון ובכוונה לעשותו שלב ראשון לאיחוד כללי גם עם הספרדים) בנשיאותם של ראשי הרבנים, והוא היה המזכיר והמנהל בפועל של ועד זה, שהיה אז המוסד העליון של הישוב האשכנזי, ואף יצג אותו בפני השלטונות הן בעניני יום-יום והן במקרים קשים מיוחדים, כגון במשלחות לבקש ביטול גזירות לגירוש יהודים נתיני חוץ (או עולים "בלתי חוקיים"), ובאחת מהופעות אלה אף ויתר על חסותו הבריטית כדי להוכיח לפחד. שהיהודים יהיו נתינים נאמנים לשולטן ולא כדאי לגרשם. בעול הנהגת מוסד מרכזי זה והמוסדות הקשורים בו משך עד סוף ימיו במסירות ובעמל רב, ואף לנוכח חצי-רעל של שטנה ובקורת זדונית מצד יריבים ומקנאים. ומשנפטר בתרכ"ו קרובו ר' יוסף יואל ריבלין נתמנה גם לנהל את עניני הכספים של כולל אמסטרדם והכספים הבאים מאנגליה ומסיר משה מונטיפיורי , שהוקיר אותו מאד והתחשב בעצותיו לטובת הישוב. וכל זה בשכר מועט ובנקיון כפים תוך חיי דחקות.
כעבור שנים אחדות אחרי חתונתו נתאלמן מאשתו הראשונה ואז נשא את מרים בת הצדיק רבי משה פיזיצר מבריסק (הסבא של הרב יחיאל מיכל טוקצ'ינסקי ושל רחל אשת ר' שמעון רוקח איש-יפו).
תוך עבודתו הרבה בעניני הצבור לא חדל מפעולתו למען בנין ירושלים שמחוץ לחומה, ואחרי נסיונות שונים ביסוד אגודות וברכישת קרקעות, קנה סוףסוף יחד עם עוד ששה חברים (ר' מיכל כהן , ר' יואל משה סלומון , ר' חיים הלוי קאוונער , ר' יהושע ילין, ר' לייב הורביץ לומזר ור' בייניש בן הרב שמואל סלאנט ) את הקרקע שבנו עליו את השכונה נחלת שבעה , על שם מספר שבעת החברים. לשם הסואה, למנוע הפרעות והבשלות מצד הערבים בעלי הבתים בעיר, אמרו שהקרקע נקנה לגידול חטים לצרכי מצה שמורה. ר' יוסף היה הראשון שבנה את