הוצאו משום כך ממשק "תל-חי" ויסדו את המשק "משמר", בו מילא דוד תפקידים מרכזיים.
ב-1926 קיבל אישור לעליה מטעם מרכז "החלוץ" ופירוש הדבר היה, שבהשתדלות המרכז יקבל אחד מהסרטיפיקטים המוקצבים לעלית חלוצים, והאנגלים לא ימנעו את כניסתו לארץ כשיגיע לגבולה בים או ביבשה, אך רשיון יציאה מרוסיה לא היה לו. בראשית 1927 ניסה לעבור בגניבת הגבול, בצליחת נהר-דנימסר, לרומניה, והתקשר עם מבריחים שיעבירו אותו ואת חבריו. הנסיון לא הצליח. אחד מהם, יצחק דיקנשטיין, נהרג ביריות שומרי הגבול. אחר, סטיסקין, נפצע, נאסר וגורש לסיביר. ודוד חזר למוסקבה ועבד עם יתר חברי סניף "החלוץ" (במחתרת) בבנין ותעשיה, והחל בהשתדלות לקבל פספורט ליציאה חוקית מרוסיה. בינתים הגיע לפי גילו לחובת שרות בצבא האדום. גויס לחיל הפרשים ונשלח לשרת בקורסק ומהדרך חזר למוסקבה בשם מזויף וחידש את השתדלותו לקבל פספורט. הסידורים ארכו זמן רב מדי והיה חשש שבינתים יפסיד את תוקף הויזה, אך בהשתדלות יוסף רוזן (נציג ה"אגרו-ג'וינט", שניהל ברוסיה את עניני תמיכת יהודי אמריקה בחוות חקלאיות של יהודים, ומשום כך היה מקורב לשלטון ול"חברה הגבוהה" במוסקבה) נטלה מרת פשקובה (רעיתו של הסופר מקסים גורקי) את ענינו בידה והשיגה לו פספורט של "מוחלף" (רשיונות יציאה מרוסיה על מנת לבלי שוב אליה, שניתנו "בתורת חסד" לנאשמים בציונות במקום לגרשם לסיביר) על השם המזויף דוד זיידיס, וכך הגיע בדרך רבת תלאות והרפתקאות מנמל אודיסה לחוף יפו ביום 27.3.1927.
אחרי מנוחה כחודש ימים בבית העולים בתל-אביב נתקבל בתור מכונאי למקוה ישראל והצליח בהשתדלותו להתקבל לארגון ה"הגנה" ולקורס הסמלים שלה. לשונו היתה רוסית סיביריאקית ובמאמץ כביר הגיע במהרה לידיעת עברית עד כדי כושר ללמוד בה את התורה הצבאית. משסיים את הקורס בתשעה חדשי עבודה מאומצת נתמנה למפקד מחלקה של פעילים, אח"כ למפקד פלוגת מילואים א-ב. ב-1928 נתמנה למפקד קטע מערבי בחזית תל-אביב (שכונת אפ"ק, כרם התימנים, שכונת ברנר וש כונת אהרן), ובמהומות 1929 התנסה בפיקוד בקטע זה בתנאים קרביים-מחתרתיים ממש לפי תנאי הימים ההם, ואח"כ המשיך בפיקוד בקטע זה. אף בשנים השקטות ובשנות המהומות 1936/38.
במהומות 1929 תרם. גם מידיעותיו הטכניות לייצור כלי-נשק ובעיקר פצצות, ובשנים שלאחר כך היה אחד מעמודי התווך באגף תע"ש (תעשית נשק) של ה"הגנה", עסק בהדרכה בקורסים טכניים למדריכים ולסמלים ברימונים, בחמרי נפץ ובחבלה, והמציא סוגי נשק ומכשירים לאימונים לפי הצרכים שעמד עליהם בשרות.
בחנוכה תרצ"ט נפצע בהתפוצצות רמון מול פניו, בעת שהדריך קורס בכפר ויתקין. באותה שנה נפצע שנית בפצצה שזרקו ערבים. על אוטובוס שנסעו בו לעבודה במקוה ישראל. אז קיבל ב"הגנה" את התואר "ממלא מקום סגן מפקד גדוד".
במשך כל זמן שרותו ב"הגנה" היה לו גם משלחיד אזרחי בתור מורה למכונות חקלאיות ומנהל הענף הטכני של המשק במקוה ישראל.
חיבר "פנקסי לימוד" לרמוני רובה ויד ולחמרי נפץ וחבלה בשביל מחתרת ההגנה ופנקסי לימוד למכונות חקלאיות בשביל תלמידיו במקוה ישראל.
נשא לאשה את שולמית בת צבי מולדבסקי. מאמצע 1939 ועד 1945 היה תושב חולון וסגן מפקד האזור ב"הגנה" ואח"כ חזר לתל-אביב וכל הזמן היה פעיל בפיקוד ה"הגנה" ובתע"ש.
משפרצו הקרבות בחורף תש"ח נתמנה לקצין הנשק בחזית דרום תל-אביב. דלות כוחותינו בנשק משוכלל הכריחם לשאת על גבם חמרי נפץ לפיצוץ עמדות אויב ודבר זה דרש קרבנות בנפשות. אז צץ רעיון במוחו של דוד ליצור מכשיר שיעביר מנות נפץ גדולות לעמדות האויב בקליעה מדויקת למרחקים קטנים. מפקד החזית, ישראל שחורי , קיבל את הרעיון בהתלהבות, אך את האמצעים להגשמתו לא קבלו מהפקוד העליון. בעזרת הנשקים של חזית זו - יעקב נוימן וזרובבל רבינוביץ ועוד אחדים - הושגו האמצעים הראשונים בהלואות פרטיות והמרגמה הראשונה לפי תכנית דוד נעשתה בהתנדבות