אם קבעה גם את המצב המדיני - כזרים פה בארץ מול תנועת שחרור ערבית. חלק ממפקדי אצ"ל נתפשו להבלגה ולאחוד עם ההגנה.
קם רוב באצ''ל שגרס, שיש לשבור את שיטת ה"הבלגה" על ידי הגמת ארגון עצמאי. יאיר (אברהם שטרן) (ראה כרך ב', עמוד 1014), ודוד רזיאל נצבו בראש אותו חלק ששמרו על האצ"ל (הארגון הצבאי הלאומי בא"י). אליאב מצטרף אליהם ללא כל היסוס, וכבר בשנת 1938 הוא עומד בראש הפעולות הצבאיות של האצ"ל בירושלים (בכינויו המחתרתי איתן) , ביניהן: התנקשויות בראשי כנופיות ערביות ; הטלת רמונים על אוטובוסים ערביים ; הטמנת מוקשים בשווקים ; ערביים ; הכנסת מוקשים לבתי קפה ולקולנוע ערביים ; פגיעה ברכוזי פורעים ; פעולות מודיעין ורכש.
אותה שנה עלה בידיו של יאיר לבוא לידי הסכם עם הממשלה הפולנית, אשר עקריו היו: תמיכת פולין בהעפלה לארץ ; מתן נשק קל וכבד ללא תמורה ; סיוע להקמת מחנות אמונים בפולין ; אימון מפקדים ישראליים בבתי-ספר צבאיים פולניים ; וסיוע בתכנון מבצעי-צבא. כל זה נועד לאפשר הקמת צבא עברי בן 40.000 לוחמים, לשם כיבוש הארץ. התכנית הלכה ובוצעה במהירות, אניות מעפילים ובחורי ארגון מאומנים מגיעים ארצה. נשק רב זורם למחסני הארגון, מחנות צבאיים מוקמים בפולין, ובארץ מתגייסים רבים לשורות, נערכים קורסים לאנשי הפיקוד ולאנשי השורה. מתקיימים קורסים לטיס במגמה להקים גרעין לחיל האויר העברי.
במסגרת הסכם זה הוא נוסע בראשית 1939 יחד עם עיר 25 מפקדים בכירים של האצ"ל לפולין, להשתתף בקורס לטרור ולחימה זעירה שנוהל ע"י קצינים פולניים.
לאחר פרסום ה"ספר הלבן" (ב-17.5.1939), שבא לחסל את שאיפת ישראל לעצמאותו, מעביר האצ"ל את המלחמה מפסים אנטי-ערביים לפסים אנטי-בריטיים. בקיץ אותה שנה פותח הארגון בשורת התקפות המכוונות לשתק את המנגנון הממשלתי כולו, כהכנה לפלישת 40 אלף.
אותה שעה הוא חוזר לארץ ושב לעמוד בראש הפעולות הצבאיות של האצ"ל בירושלים. ביניהן: פיצוץ מוקשים בקולנוע "רקס" (29.5.1939) ; פיצוץ מערכת הטלפונים התת-קרקעית (4.6.1939) ; פיצוץ טרנספורמטורים חשמליים (9.6.1939) ; פיצוץ בנין הדאר המרכזי, והריגת המומחה הבריטי לחמרי נפץ של מרכז הבולשת (12.6.1939); פיצוץ אולפני הרדיו (1.8.1939); הקצינים הבריטיים קרנס וברקר מראשי הבולשת הבריטית, הוצאו להורג באמצעות מוקש חשמלי (27.8.1939).
אולם, שני מאורעות הופכים את הקערה על פיה. ב-1 לספטמבר פורצת מלחמת העולם השניה ויום אחד לפני כן ב-31.8.1939, נאסרים כל חברי מפקדת האצ"ל ואתם יעקב אליאב (הידוע בשם "יישקה" והמשפחה : לבשטיין) , ברח' אהרונוביץ 6 בתל-אביב.
בתקופת המאסר ולאחריו, פרצו חילוקי דעות בין רזיאל ושאר חברי המפקדה שיאיר עמד בראשם. מלחמה בגרמניה בצד בריטניה ללא תנאי, או שמירה על האינטרסים הלאומיים אף בימי המלחמה. יאיר גרס שאין עם מתייצב לצד האוייב ללא תמורה. אפשר לסייע לבריטניה אך יש להכתיב לה תנאים, והם : הכרה בממשלה זמנית עברית ובצבא עברי על פקודו ודגלו ומסירת השלטון על א"י לעם העברי וע"י כך גם הצלת הגולה מידי משמידיה. הפילוג היה לעובדה. אליאב מתייצב ללא כל פקפוק לצדו של יאיר (אבי לוחמי חרות ישראל) ונמנה בין מייסדי מחתרת זו ועם מנגנונה הקבוע מיום הווסדה בסתו 1940 ועד התגייסותו לצה"ל ב-1948.
עם תחילתה של לח"י, מונה למפקד חיפה והצפון. בפיקודו מפוצץ לח"י את משרדי העליה בחיפה כתגובת על הגליית מעפילים.
ב-1941 הוא מונה לקצין תכנון והדרכה ארצי, ובאותה שנה צורף כחבר למפקדת לח"י. המפקדה האחרונה בראשותו של יאיר. פעילותו במפקדת לח"י נמשכה עד ל-27.1.1942, עת הוקף החדר ברח' דיזינגוף 30 בתל-אביב ע"י המשטרה הבריטית, אשר בו ישב יחד עם שלושת חבריו. קצין הבולשת מורטון ושני סמלים חדרו לחדר בקומה ג' ובלא לדעת את זהות יושביו הרג את אברהם אמפר וזליג ז"ק הי"ד ופצע את משה סבוראי. ככלותו את מלאכתו, ירה מורטון בדלת הנעולה של בית השימוש, אליאב לא היה מאחורי הדלת אלא צנח וירד מן הקומה השלישית לאורך צינור הביוב. הוא לא הצליח להמלט, יריות ניתכו עליו מלמטה, נפצע, הוכה קשות והוסע לבית החולים ביפו. כעבור שבועיים בכ"ה בשבט, הובא לחדר המתים של בית החולים בו הוא שכב, ומורטון הראה לו בנימת נצחון את גופתו של יאיר , שהוא הרגו שעה קלה לפני כן. מספר חדשים לאחר מכן הובא אליאב לפני בית דין צבאי ונדון למאסר עולם.
לאחר רצח יאיר היה ברור לו, כחבר המפקדה האחרונה של יאיר , כי התנועה חייבת להעלות מנהיגות קולקטיבית. מנהיגות, אשר תיהנה מאמונו של ציבור לוחמים נרחב. היה על לח"י להנחיל לנוער את תורת מלחמת חרות ישראל ואת העזת המעשה, לקראת סיום מלחמת העולם השניה. מחשבות אלה גבשו אצלו את הדעה כי מן ההכרח להביא את ה"הגנה", האצ"ל והלח''י לדרך פעולה משותפת.
גמר אומר איפוא, לפרוץ לו דרך החוצה לשם הקמת האחדות הלוחמת. ההזדמנות לא אחרה לבוא, וכעבור שנתיים (ב-24.12.1943) ברח מבית הסוהר המרכזי בירושלים. באחת מהבריחות הדרמטיות ביותר של אנשי לח"י, בה הוא כמעט קיפח את חייו. תמונתו פורסמה ברחובות והוקצב פרס גבוה לתפיסתו.
למחרת בריחתו מהכלא בא במגע עם מפקדי ה"הגנה" וגולל בפניהם תוכנית לשיתוף פעולה בין שלוש המחתרות לשחרור הארץ. תכנית זו לובנה וגובשה בשיחותיו עם אליהו גולומב (ראה כרך ב', עמוד 972) וישראל גלילי (ראה כרך ז', עמוד 2880). לאחר זמן הובאה התכנית על ידו בפני מרכז לח"י שאישר אותה ובחר בנתן ילין-מור (ראה כרך ג', עמוד 1528) לנציגו במשא ומתן. כאשר המו"מ בין ה"הגנה" והלח"י הגיע לשלבי הסיום, הציע נציג לח"י לצרף גם את האצ"ל להסכם, לכך הוקמה המפקדה המאוחדת של תנועת המרי שסימלה את האחדות הלוחמת של שלוש המחתרות.