מחאסלוביץ ועוד) והם ניבאו גדולות לאברך הצעיר בעל החידושים.
אחרי פטירת אביו בירושלים, כשבאה אליו הידיעה יחד עם צוואת אביו ביום י"א תשרי תרכ"ח, הרגיש משיכה כבירה לעלות ירושלימה ולהשתטח על קבר אביו. בכדי שלא יהיה זקוק לקבל "חלוקה" שהה שנתים באודיסה ועבד כמנהל פנקסים בבית מסחרו של ר' פישל דובין , ושם היה נפגש עם י. ל. פינסקר, מ. ל. לילינבלום ויתר משכילי הדור, שתפסו אח"כ מקומות מרכזיים בתנועת חיבת ציון, וביום כ''ו ניסן תרל"א הגיע ירושלימה והתאכסן בבית החכם זאב אסיא לוינזון, רופא העדה האשכנזית, שגם אביו התאכסן בביתו, ונכדו ר' יעקב ליב סלנט הדריך אותו בסיוריו במקומות הקדושים וההיסטוריים בירושלים ובחברון וכו'. גדולי הרבנים בירושלים, ובראשם מהר"ם אוירבאך ראב"ד האשכנזים והראשון-לציון רבי אברהם אשכנזי עודדוהו להנציח את זכר גדולי ירושלים, והוא חיטט במצבות וברשימות עתיקות והחל לחבר את הספר "תולדות חכמי ירושלים" שקרא לו גם בשם "אבן שמואל" לזכר אביו. בסידור החומר ובהגהות והערות עזר לו החכם רבי יצחק פראג-אופלאטקה . בו בזמן ערך מכתב גדול למיודעו באודיסה על קורות מסעו ורשמיו בארץ, בסגנון מקראי יפה ונמלץ, שופע חזון ולהט אהבת הארץ. כשראו החכם החוקר ר' יעקב הלוי ספיר (בעל "אבן ספיר") והרב בן-ציון שלעז את המכתב והללוהו מאד, הציע לו המדפיס ר' ישראל ב"ק להוציא את מכתבו בדפוס והוא פרסמו בחוברת מיוחדת בשם "מסע אבן שמואל".
מסיבות משפחתיות חזר לרוסיה אחרי שהותו 11 חודש בירושלים. במשך הזמן המועט שהיה בירושלים עלה בידו להעתיק כאלף מצבות עתיקות מקברי הר הזיתים (אחרי זמן מועט נהרסו המצבות לרגל סדור הדרך החדשה ירושלים - יריחו) ובתרל"ד הוציא בוילנה את החלק הראשון של ספרו "תולדות חכמי ירושלים" (מתקופת גירוש ספרד עד סוף המאה הרביעית) בהידור רב, התודע שם לגדולי החכמים והמשכילים, שהפליגו בשבח המחבר והספר, יואח"כ הוכרח לנדוד בערים הגדולות של רוסיה ופולין להפיץ את ספרו, וגם הפסיד בו מכספו. (בהיותו אז בוארשה נאסר משום שהמשטרה מצאה אצלו פספורט טורקי ורק בהשתדלות ר' זוסמן, אביו של ר' זאב יעבץ , שוחרר). אז ניסה לבסס לו בדווינסק בית-מסחר ספרים, ומשלא הצליח בו חזר לביתו בפיקלן. ומאחר שראה את עצמו בלתי מוכשר למסחר ראה הכרח להכשיר את עצמו לרבנות. יסד והחזיק ישיבה בפיקלן ואח"כ למד בפרישות במאריאמפול, ורק לשבתות היה בא הביתה לעיירה לאצקבה, שם החזיקה אשתו בית-מסחר קטן לפרנסת המשפחה, ואחרי שהוסמך לרבנות על-ידי הרב אלחנן מקובנה, ר' מרדכי אליאשברג מבויסק, ר' ליב חסיד מקלם ועוד, נתקבל בתרל"ו לרב באלקסוט שליד קובנה. בקהלה זו זכר. לכבוד גדול, תנאים חמריים טובים, ואף ממקומות אחרים באו אליו לדין-תורה, לפשרות ולשמוע את דרשותיו. בשנות שלותו באלקסוט חיבר את הספר "אהבת ישראל" בעניני מוסר ומדות. אך הוא לא מצא סיפוק בנפשו וחשש שמא אירע לו מכשול בהוראת דין, ואף אשתו, שהיתה ממשפחה עשירה, לא יכלה להשלים עם הפרנסה משכר רבנות, מתנת הצבור.
אחרי פרעות תרמ"ב השתתף בפעילות רבה באספות הרבנים והעסקנים שנערכו ברובן בבית הרב יצחק אלחנן בקובנה, בהן הכירו בצורך הגירת היהודים מרוסיה והשאלה היתה אם לאמריקה או לארץ-ישראל, והוא היה מראשי הדורשים לציון והסתמך בדבריו על מראה עיניו בעת היותו בארץ. באחת האספות נתקבלה הצעתו לכנס ועידה, גדולה בגרמניה בענין שיבת יהודי רוסיה לציון.
הוא נסע לגרמניה בעניני ריפוי ובא בדברים עם הרב ד"ר עזריאל הילדסהיימר בברלין ועם הרב ד"ר מאיר ליהמאן במגנצא, ראשי חובבי ציון בגרמניה, והרב ליהמאן נלוה אליו במסע תעמולה בכמה קהלות בגרמניה, בהן דרש ברבים והוכיח את היתרון של א"י על אמריקה, שכן בא"י מובטח שישארו יהודים ולא יטמעו בגויים. גם את ר' ישראל סלנטר שכנע בכיוון זד. פשנפגש אתו בקניגסברג. הדרשה שדרש בפרנקפורט ענ"מ למען ארץ-ישראל עשתה רושם כביר, ושם השפיע על הבארון החסיד ר' שמעון וולף לבית רוטשילד שיפעל למען ישוב א"י, ואכן השתתף בכספו במפעלי קרובו הבארון בנימין "אבי הישוב" מפאריס. בועידה שהתכנסה במגנצא בתמוז תרמ"ב נשא נאום גדול לביסוס השקפתו למען א"י, שבה ישארו היהודים שלמים גם ביהדותם, אך תוצאות מעשיות לא היו לועידה זו. אז אמר לנסוע לאנגליה ולהמשיך שם את פעולתו למען א"י, אך מטעמי בריאות ומסיבות משפחתיות הוכרח לוותר על מסע זה.
בהיותו בברלין התודע עם הגביר עובדיה (אמיל) לחמן , יהודי חרדי, והצליח להשפיע עליו שישקיע הון בהחיאת הארץ, ולחמן התקשר אתו שיסע לא"י ויקנה בשבילו נחלה גדולה וינהל את עיבודה ופיתוחה וגם הבטיח לתמוך בישיבה שהרב פרומקין יחזיק שם. גם