היהדות החרדית אף מחוץ להונגריה, ועל שמו נקרא המחבר בכינוי בעל "הלב העברי". בכתביו ובנאומיו הטיף נגד שאיפת היהודים להשתרש ולהתאזרח בארצות הגלות ולהתאים את אורח חייהם לטעמם של הגויים כדי לזכות בחסדיהם. לפי דבריו באו כל הגזירות והרדיפות על היהודים בארצות הגלות משום ששכחו כי הם רק גרים זמניים בארצות הגויים, ועליהם לשוב לארצם ולחדש בה את חייהם לפי התורה. שוחרי הרפורמה, ששטמוהו בגלל מלחמתו החריפה בהם, מצאו בדבריו אלה פתחון-פה להלשין עליו בפני השלטונות ולהאשימו בהסרת לב היהודים מאהבת המולדת, וכתוצאה מהלשנתם נאסר לזמן-מה בבית-הסוהר. גם רבני החרדים המתונים בגרמניה (ר' עזריאל הילדסהיימר וד"ר מאיר ליהמן וחבריהם) התנגדו לו בגלל הטפתו לשלילת הגלות לחלוטין. הוא ניסה עוד להפיץ את דעותיו ולהלחם במתנגדיו בירחון בשם "עמוד היראה", שהחל להוציא (ביהודיתגרמנית) בכ"ט אייר תרכ"ז, אך ירחונו לא האריך ימים, ולבסוף בא לידי מסקנה, שכל יהודי הרוצה לחיות חיי-יהדות אמתיים, אין לו דרך אחרת אלא להתישב בארץ-ישראל.
בראשית שנת תר"ל החל בהכנות לעלות ארצה ובכל הקהלות שעבר בהן הכריז על מטרת דרכו. גדולי הרבנים ניסו לשדלו שלא יחרוג מהמסגרת הרגילה והבטיחו לו משרות רבנות בקהלות שונות ירגזו עליו בשל עקשנותו וסירובו ואף גזרו על העוזרים לנסיעתו. (על הצעה אחת לרבנות בגולה השיב: כבר כתבתי תנאים עם כלה אחרת, היא ארץ-ישראל, ולא אוכל לביישה). ובסוף הוכרח לברוח בסתר ובסכנת נפשות והמשיך את דרכו.
לשבת נחמו תר"ל הגיע ארצה, עלה לירושלים ונתקבל בכבוד רב, שכר לו דירה בקרבת שער הר הבית ויסד לו בה בית-מדרש. שם התפלל בפתח מול מקום המקדש, ערך תיקון חצות בכל לילה, ובערבי שבתות היה תוקע בשופר מול מקום המקדש, כדי לעורר רחמי שמים ולקרב את הגאולה, ואת זמנו הקדיש ללימוד תורה וחכמת הקבלה. לפעמים היה יוצא ברכיבה על חמור לתור את הארץ, התאבל על שממותיה ודרש בכתביו מעשירי העם, שיחושו לגאול את אדמתה.
רבו, מחבר ה"כתב סופר", שהיה נשיא כולל הונגריה, ביקש למסור לידו את הנהלת עניני הכולל בירושלים, אך הוא סירב מחשש ביטול תורה. אבל עניי הכולל שנעשקו על-ידי הממונים, התחילו באים אליו בתלונותיהם והוציאו אותו מהתבודדותו בלימודיו. הוא החל מטריד את מנהלי הכולל בדרישת צדק למקופחים, ובכלל דרש שתבוטל שיטת ה"חלוקה", שלבני-תורה תנתן הספקה שלמה שיוכלו ללמוד מתוך הרחבת הדעת, ואת יתר הנצרכים יושיבו על הקרקע, שלא יהיו זקוקים לתמיכה תמידית, אך להצעותיו לא היה שומע.
אז ריכז סביבו מקובלים וחובבי הארץ ויסד עמהם אגודה חשאית בשם "מחזירי עטרה ליושנה" וגם "כולל העברים" לשם פעולה למען ישוב הארץ ותקומת העם בחומר וברוח. בין חברי אגודתו נמנה גם הרב אליהו מני, רבה של חברון.
בראשית תרל"ג ראה שהגיע הזמן לצאת לפעולה גלויה. אז הדפיס בכסף שחסך מלחמו את הספר "חברה מחזירי עטרה ליושנה עם כולל העברים", בו הציע תכנית מדינית-כלכלית-ארגונית מפורטת לשם ארגון כל עם ישראל בגולה ובארץ למטרה אחת - להכין, ברשיון הממשלות, את החזרת עם ישראל לארצו ולחדש את חייו כקדם ברוח התורה כדי לקרב את הגאולה השלמה. התכנית הקיפה את כל ענפי החיים: גאולת קרקע, חקלאות, דיבור עברי, תעשיה, חינוך (גם הוראת מלאכות ומדעים מעשיים, אבל קבע להלכה, שאותם מותר ללמד רק מספרים כתובים בלשון הקודש), שמירה, הגנה, עזרה הדדית, סידור העליה, קבלת עולים ואיכסונם והדרכתם, ועוד ועוד. אפילו סגנון-לבוש עברי רצה להנהיג לפי האפנה הקדומה.
בתכניתו זו ראו ממוני הכוללים חתירה תחת יסודות שלטונם והחלו לרדוף ואותו. לאחר חדשים אחדים הופיע ספרו "בית יוסף החדש", שבהקדמתו מתח בקורת על מנהלי הכולל ודרש בקורת על חשבון הכספים העוברים תחת ידיהם. בספר הביע את הדעה, שהעולים, שנשיהם אינן רוצות לבוא ארצה, רשאים לשאת נשים אחרות, כמנהג הספרדים, שלא קיבלו עליהם את החרם דרבנו גרשום. אז פתחו מתנגדיו ברדיפות איומות נגדו. העלילו עליו שהוא עוכר ישראל, מבטל חרם דרבנו גרשום, אפיקורס, מיסיונר, משוגע, וחושב את עצמו למשיח, ואף חרם הכריזו עליו, ונוסף לחתימות האמתיות הוסיפו על כתם החרם חתימות מזויפות, בשמות אנשים שלא העיזו להכחיש את שייכותם לענין. ממוני כולל אונגארן הכריחו את מקבלי החלוקה לחתום על כתב פלסתר נגדו ורק אחדים ויתרו על החלוקה וסירבו לחתום (ביניהם ר'יהושע שטאמפר ור' מנחם מוניש שיינברגר , חותנו של ר' יהודה ראב ). ראשי הכולל דנו את ספריו ומחברותיו לשריפה ואף הופצו שמועות שמתנכלים לחייו, וכנגדם התארגנו לשמירת בטחונו החברות "פועלי צדק" ו"עזרת ישראל" (שבראשה עמד ר' ניסן בק) . השמועות על הרדיפות הגיעו להוריו בחו"ל, ובהשתדלות משפחתו שם נצטוה קונסול אוסטריההונגריה בירושלים להגן עליו, והוריו ביקשו ממנו במכתבים שיחזור לחו"ל ויקבל משרת רבנות, והוא השיב: "טוב לי למות בירושלים מלמלוך במצרים".
פעם יצא עם ר' דוד גוטמאן, מעולי הונגריה, ועם בן הרב מני מחברון, לסייר אדמה לקניה בסביבת חברון, וכשחזרו כבר נודע בעיר דבר נסיעתם וארבו להם לפני שער יפו לשלוח יד בהם. הוא ומני התגנבו העירה דרך שערים אתרים וגוטמאן התגונן באקדח