כשהחלו ההתקפות הערביות על הישוב (19.4.1936), הזכורות בשם "מאורעות תרצ"ו-תרצ"ט", והוא אז בעבודה בשדה, בהיות קציר החציר בעצם תקפו, בא שליח והודיעו שעליו לנטוש מיד את העבודה ולהתיצב במפקדת המחוז, ומאז הוצא לחלוטין ממעמד חקלאי חבר-משק, שגם מקודם הופסק זמנית מפעם לפעם לרגל תפקידים בשרות ההגנה'', וגויס לשרות קבע בצבא ישראל שבמחתרת. בראשונה הוטל עליו לארגן את מערבת ההגנה בכל הגוש, והוא ביצע שינויים רדיקליים במערכות ההגנה בישובי הסביבה, ואח''כ נשלח לבקר, ליעץ ולהדריך גם בגושים אחרים. עם התפתחות מצב המלחמה בין שני העמים נתמנה למפקד חי"ש בצפון הארץ ואח"כ בארץ כולה. היה מהמעטים שהקדימו להבין את הצורך בגיוס כל הכוח שלנו להגנת עצמנו, ובשורה ראשונה לתת הכשרה קרבית למחצית השניה של הישוב, לנשים. ניהל שיחות עם מועצת הפועלות, עם מזכירויות הקיבוצים והצליח להרחיב את ממדי האימון הצבאי של החברות ואף אירגן קורסים ארציים לחברות בפיקודו. אח"כ התמסר להכשרתו הטרום-צבאית של הנוער ונתמנה מטעם הפיקוד העליון של ההגנה על החינוך הגופני המורחב (חג''מ) ולמפקד יחידות הנוער, הרצה על משימה זו בכינוס מורים שנערך בכפר אביחיל מטעם פיקוד ההגנה, ארגן קורסים אזוריים ויצר קאדרים של מפקדים בשביל גדנ"ע-לעתיד, וכן בתי-ספר למפקדי ישובים, ותמיד היה רגיל לומר, שכל ישוב הוא גבול ואין לדעת היכן תהא חזית והיכן יהיה עורף. כמו כן שקד על הכנת ספרות צבאית מקצועית בעברית, מקורית ברובה, החל מהחוברות הדקות והמגששות "תרגילי קרב אלמנטריים" ו"הרובה", עד "הפלוגה בקרב" ו"הנשק הכבד". מקצתם כתב בעצמו ויתרם כתבו עוזריו, אבל על הכל היה טבוע חותם רוחו והשפעתו.
באותן שנים סוערות תרם את חלקו גם לעבודה המעשית בניהול קרבות בפועל נגד כנופיות הערבים, בהם פיקד בעוז ובקור-רוח על תלמידיו-חבריו, תחילה בסביבת רמת יוחנן, שהכנופיות חשבו אותה ל"נחלה" מופקרת להם, ורק המהלומות שהנחיתו להם כוחותינו בפיקודו של יהושע לימדום לנהוג ביתר "דרך-ארץ" וזהירות, ואחר-כך כמפקד המקום בחניתה בראשיתה הוכיח לערבים, כי אין היהודים נרתעים מהתישב ומהתבסס אף בנקודה מרוחקת כזו, על גבול הארץ ממש, ואחרי כמה תשובות-אש אמיצות למדו לדעת, שהיהודים חושבים בכל הרצינות להחזיק מעמד אפילו כאן.
גם בשנות מלחמת העולם היו ידיו מלאות עבודה כראש לשכת ההדרכה שליד המטה הכללי וביצע עבודת תיכנון רבה ומגוונת, הדרכה מקצועית והכשרת מפקדים, ועוד. שימש זמן מה כמפקד בגליל התיכון (1942) ואח"כ כמפקד מחוז תל-אביב. כן הגדיל לעשות בניהול המאבק נגד הבריטים בשנים האחרונות של מלחמת העולם ואחריה, ותוך עבודת הדרכה והובלת נשק (כמפקד אסור לו להסתכן במעשים שבגללם עלול ליפול בידי השלטונות, אך במקרים מסוכנים ביותר לא נתנתו "רוחהספורט" להטיל את הסיכון על אחרים) קרו מקרים, שלמרות הזהירות והשמירה הופתע עם אנשיו על-ידי התקרבות אנשי צבא בריטיים או משמרות בריטיים בדרך, אך התמצא במהרה ובהברקה גאונית המציא את המוצא מהסבך.
בתקופת ה"מרי" (המאבק של כוחות ההגנה נגד הבריטים) אירגן כמה וכמה מיבצעים נועזים ויעילים, כגון "ליל וינגייט" בתל-אביב, קליטת מעפילים בחוף הים ופגיעות במיתקנים צבאיים של הבריטיים. ביחוד הגדיל לעשות בארגון ההמונים לפעולות התנגדות גלויה, שכן לדעתו אין די במעשי גבורה ומסירות-נפש של יחידים לערעור מעמדו של השלטון המדכא, אלא נחוצה התנגדות ההמונים, שיתיצבו בגלוי אף נגד טנקים ומשוריינים. הוטל עליו לעבד תכניות להתנגדות כזו, והוא עשה את שלו במיטב היכולת והמסירות. לא כל התכניות הגיעו לידי ביצוע, אך באחדות מהן נראה הוא ונראתה פעולתו. לפי תכניתו אורגנה הפעולה בשדות גבעת חיים, כשהצבא הבריטי שם מצור על הנקודה, כדי לחפש ולהחרים את נשק המגן, הוזעקו ובאו כאלפים איש מהסביבה, אזרחים בלתי-לוחמים, להגן בגופם על המקום, התיצבו מול טנקים ונשק כבד, לא נרתעו מפני איומי המפקד הבריטי לפתוח באש, לא נסוגו אף כשפתחו עליהם ביריות, באותו הזמן הקיפו הבריטים גם את רמת הכובש במטרה דומה, והנה הופיע יהושע גם שם, עזר לארגן את העמידה הנאותה ולהפר את המזימה השטנית. בערב ביקר את הפצועים בבית החולים בילינסון ועודד אותם באמרו: "אין דבר - אתם תחלימו במהרה והישוב גאה על עמידתכם'', ובחצות הלילה כבר היה בגבעת חיים, בודק את סידורי ההגנה. גם מיבצע כיבוש-חזרה של ביריה ליד צפת בכח הנוער מול החיילים הבריטיים המזוינים נערך לפי תכניתו.
בסתיו 1947, כשהתקרבה ההכרעה בעצרת האו"ם ובגליל העליון כבר החלו פעולות ההתקפה של "צבא ההצלה" הערבי בפיקודו של קאוקג'י ושל כנופיות מקומיות ומסתננים סורים ועיראקיים, נשלח יהושע שמה ואירגן את עמידת כוחותינו על המשמר בנקודות הספר. כשחזר משם עמדה המפקדה הראשית למנותו למפקד חטיבת הצבא שהחלה להתארגן בתל-אביב. והנה הגיעו למטה הכללי, ידיעות על מצב חמור מאד בירושלים, שהחמיר במיוחד משהחלו הקרבות אחרי הכרעת האו"ם ב-29 בנובמבר בעד יסוד מדינה יהודית. הוא נשלח לירושלים לבדוק את המצב וליעץ בדבר ארגון הגנת העיר. כשגמר למלא את שליחותו חזר במכונית פרטית לתל-אביב. בעברו ליד לאטרון ירו בו שלשה ערבים מזוינים שחסמו את הדרך, ושם נפל ביום כ''ה כסלו תש"ח (8.12.47) והובא לקבורה במשק יגור.
נשארו אחריו אשתו בריינה בת מאיר טרקל. בנותיו; אילנה, לאה. בשנת תש"ט הוציאו הקיבוץ המאוחד ומשק יגור קובץ לזכרו, בשם "יהושע גלוברמן", בו נאספו פרקים מתולדותיו, קטעים מיומנו, הרצאות והצעות בעניני הגנה וכו'.