לאות ובמלאכה סידר קבוצת חלוצים במושבה "מסילה חדשה" שבקרבת העיר, מסר ידיעות נכונות על המצב ברוסיה, השלים את חינוכם הרעיוני של החלוצים שנאספו כאן מרוסיה ומארצות מזרח אירופה, ובמכתביו לחבריו ברוסיה הכחיש את השמועות המוגזמות שנפוצו שם על ממשלה יהודית בארץ-ישראל, הודיעם על ההגבלות והקשיים בדרך העליה וקרא להם להמשיך בהכשרה גופנית ונפשית ולהיות נכונים לעלות לכשתפתח הדרך.
בנובמבר 1919 הפליג באניה לבירות ומשם נכנס לארץ בעגלה דרך גבול הצפון. בארץ מצא דלות ורפיון ידים ופילוג מדכא בין שתי מפלגות הפועלים העיקריות ("אחדות העבודה" ו"הפועל הצעיר"), שכל אחת מהן מקיימת מוסדות ושרותים מיוחדים (לשכת עבודה, קופת חולים וכו'), נלחמות ביניהן על ה"נצחון", ותוך כך לא נשאר באנשיהן מרץ ורצון להכין כלים לקליטת העליה החלוצית הכללית. גם במוסדות ההסתדרות הציונית לא מצא את הנכונות לעזרה לעלית החלוצים המחכים כבר באיסטמבול, וכל שכן להעלאת חלוצים "כלליים", שעדיין אינם מוגדרים בהשתייכותם לאחת משתי המפלגות. הצעתו למפקדת הגנרל אלנבי, להביא מרוסיה עשרת אלפים חיילים יהודים להחלפת חיילים בריטיים בחיל המצב בארץ, נדחתה כמובן. הוא עשה מאמצים רבים לאיחוד צבור הפועלים, לפחות בנוגע למוסדות ולשרותים שלטובת הפועל והחלוץ, שאין להם שייכות לעיקרונות מפלגתיים, ומשלא הצליח בשיחותיו עם מנהיג צבור הפועלים (שהיו גם מנהיגי המפלגות), פנה בקול קורא אל צבור הפועלים בכללו והסביר את הצורך החיוני באיחוד לטובת הנמצאים כבר בארץ ועוד יותר להצלתם ולהעלאתם של האחים והחברים המחכים ומנמקים בתפוצות. בהתחלה לא נשאו מאמציו פרי, אך זרע האיחוד שזרע במוחות ובלבבות הצמיח רק לאחר שנה את ההסתדרות הכללית של העובדים העברים, שהקימה ופיתחה את המוסדות והשרותים לכלל צבור הפועלים והחלוצים. בראות טרומפלדור, כי לעת עתה אין לו עוד מה לעשות בארץ, אמר לחזור לרוסיה ולהמשיך שם בפעולתו ב"החלוץ".
והנה הגיעו שמועות מדאיגות מהגליל העליון על פגיעות הערבים בישובי היהודים בשטח שנמסר לצבא הכיבוש הצרפתי לפי הסכם סייקס-פיקו , והערבים מתמרדים שם נגד הצרפתים ופוגעים אגב גם ביהודים בהתנפלויות שוד ורצח. מיד דחה טרומפלדור את יציאתו לרוסיה ועלה לנקודות תל-חי וכפר גלעדי לנהל את הגנה על כבוד ישראל ועל אדמת ישראל בכוחות מעטים נגד רבים. לעומת הדעות שנשמעו בישוב, כי לא כדאי לסכן נפשות, חיזק הוא את דעתם של המרחיקים ראות בדבר ההכרח לשמור על האדמה והכבוד בכל מחיר, מבלי להרתע מקרבנות הכרחיים.
כחדשיים וחצי ניהל את ההגנה בצפון הארץ נגד כנופיות בידואים, חיילים סדירים של צבא ה"שריף" (של האמיר פייסל ההאשמי, שהתמלך על סוריה בעזרת האנגלים ונגד רצון הצרפתים) ו"מתנדבים" מקומיים, שגברו על הצבא הצרפתי וגרשוהו. המוסדות בירושלים היססו לשלוח עזרה, אך בלעדיהם באה מהדרום תגבורתעזרה, אם כי בלתי-מספקת. בתנאים קשים שמרו מגיני הצפון על אי-התערבותם בסכסוך שבין הערבים והצרפתים ובינתים יצאו לעבוד בשדות בשמירה זוינת משלהם, ולא פעם הותקפו על ידי בידואים מתנפלים (בהתקפות כאלה נהרג שניאור שפושניק ואח''כ אהרן שר, הוחרבו והועלו באש צריפי קבוצת חמרה ובצאת שמה טרומפלדור עם חברים אחדים הקיפתם קבוצת בידואים והוכרחו למסור לה את בגדייהם ולשוב לתלחי חגורי שקים במקום בגדיהם שנגזלו, אך את אקדוחו הצליח טרומפלדור להסתיר ולהציל). תוך מתיחות מתמדת זו והרגשת הבדידות וחוסר העזרה המשיכו אנשי תל-חי וכפר גלעדי בעבודה ובהגנה ורשימות יומנו של טרומפלדור נשלחו לקבוצת אילת השחר ומשם לתלאביב ופורסמו, בתור יומנים רשמיים של הגנת הגליל, בעתוני שתי מפלגות הפועלים "הפועל הצעיר" ו"קונטרס", ועוררו בישוב הרבה אנחות וחרדות ומעט נכונות לעזרה.
יום י"א אדר תר"פ נראה בראשיתו כאחד הימים רבי המתיחות שבאו בזה אחר זה על מגיני הגליל. האנשים המשיכו בעבודה ובהגנה בתקוה לא בטוחה, שיגיעו אולי גם ליום מחר ומחרתים. באותו יום נערכה התקפה על תל-חי וטרומפלדור, שהיה אז בכפר גלעדי, בא עם חבריו תוך פעולת יריות-חיפוי וריצות לסירוגין לפי פיקודו לעזרת תל-חי. אח"כ בא כמאל אפנדי עם ערבים מזוינים אחדים מכפר חלסה וביקשו רשות להכנס לתל-חי לחפש אחרי צרפתים מוסתרים (שלא היו ולא יכלו להיות שם). טרומפלדור האמין לדברת הכבוד של כמאל אפנדי, קצין טורקי לשעבר, והרשה להם להכנס, לחפש. בפנים גזלו את האקדוח מידי דבורה דראכלר ואז נתן טרומפלדור צו אש. בקרב נפצע טרומפלדור בבטנו ומעיו נשפכו החוצה. הוא נתן הוראות לחבר החובש כיצד להחזירם פגימה וכיצד לחבוש אותו ובינתים המשיך לפקד על הקרב. אח"כ מסר את הפיקוד לפנחס שניאורסון (ראה את הערך שלו בכרך זה) והוסיף מפעם לפעם לתת הוראות. משנסוגו הערבים והוא הועבר באלונקה לכפר גלעדי אמר באמצע הדרך : "אין דבר - טוב למות בעד ארצנו" - וסיים את אגדת חייו באגדת מות-גבורה במלחמה על גבול הצפון של ארצנו.
לזכרו נוסד זמן קצר אחרי מותו "גדוד העבודה על שם יוסף טרומפלדור" וחלק מהחברים התנחלו אח"כ בתל יוסף הקרויה על שמו. כן נקראו על שמו רחובות בערי הארץ ו"ברית טרומפלדור" של הנוער הרביזיוניסטי.
מדי שנה בשנה עולה הנוער על קברו לשאוב השראת גבורה מזכרו.
פרשת חייו ופעולותיו נכתבה בספר "יוסף טרומפלדור" מאת פסח ליפובצקי (קובנה תרפ"ד) והסתדרות העובדים הוציאה קובץ ממכתביו וקטעי רשימותיו בספר "מחיי יוסף טרומפלדור" (יפו תרפ"ב).