משבעה ילדים שנולדו לו נשארו בחיים רק בנו יחיאל מיכל ובתו יעל והוא עצמו טיפל בחינוכם. כן התמסר לחינוך הנוער והמוני העם שבעיירה לציונות, לתרבות אנושית ועברית, יסד ספריה לפועלים בעברית, אידית ורוסית. עבד שנה אחת כספרן בספריה הגדולה הנודעת של הבארון גינצבורג בפטרבורג, וכשחזר משם לעבודתו הקודמת התמסר ליסוד "חדרים מתוקנים" ולהפצת השפה והתרבות העברית בחוגי השפעתו ויחד עם בתו יעל ואחת מחברותיה יסד שיעורים לעברית ולהשכלה כללית בשביל בנות. הטיף להתחדשות האדם בישראל עלידי עבודת כפים וחקלאות ושאף לחדש גם את עצמו עלידי החלפת העבודה המשרדית בעבודה חקלאית בארץישראל, אלא שלא נמצאה לו האפשרות החמרית לשינוי כביר כזה ביסוד חייו וקיומו; וכן היה קשה לו להנתק מחוג פעולתו התרבותית ולעזוב למען סיפוק-נפשו הפרטי את ההמונים הזקוקים לעזרתו הרוחנית.
בתרס"ג בא מאורע שערער את היציבות שבחייו בעיירה האוקראינית : הטפתו להשכלה והתחדשות הוכתה מכה קשה בביתו כאשר בנו יחידו יחיאל מיכל נתן כיוון "אנטי-מהפכני" ל"מלחמת האבות והבנים", נטש את השקפות אביו ושאיפותיו, הפסיק את הקשרים עם הוריו ונסע לבקש תיקון לנפשו דוקא באורח-החיים הנושן, בהשתקעות בלימוד תורה בישיבות ליטא. באותה שנה מתו עליו הוריו ועזבונם הדל הספיק לו להוצאות הדרך עד יפו ולהשארת סכום כל שהוא למחיה למשפחתו וביום י"א אדר תרס"ד, בהיותו בן 48 שנה, הגיע לחוף יפו.
תיכף אחרי בואו הציע לו יהושע ברזילי-אייזנשטאדט , מנהל הועד הפועל היפואי של חובבי ציון, עבודה כעוזר לספרן בספריה של הועד הפועל, אך הוא סירב לעסוק במשלוח-יד "אינטליגנטי" כמו בגולה, כי בארץ רצונו רק לעבוד את האדמה. מצויד בהמלצה מאת ברזילי נתקבל בפתח-תקוה לעבודה בפרדסים - בקטיף של סוף העונה ואח"כ בעידור ובהשקאה ובעבודות חקלאיות שונות. העבודה היתה קשה, וביחוד בגילו, אך הוא מצא בה סיפוק נפשי וסירב לקבל כל הקלה והנחה ויתרון בהתחשב בגילו ועבד באותה שקידה כמו הפועלים הצעירים. בקיץ תרס"ה עבר לעבוד בבציר בראשון לציון, חסך מעט כסף ושלח לאשתו, והנה פרץ גם שם הריב בין "ציוני ציון" ובין ה"אוגנדיסטים" (ובראשם פקידות היקב), ובעקב תגרת-ידים בין היריבים ופיטורי פועל כתוצאה ממנה התפטרו טובי הפועלים - לאות מחאה מן העבודה, ובתוכם גם הוא. ובעודו מחפש עבודה אחרת חלה בקדחת קשה, שכב חדשים אחדים בבית-החולים וכשנרפא חזר לפתח תקוה, אך מחמת חולשתו לא יכול לעבוד עוד חדשים אחדים ומשפחת פועלים (זאב רוצקין כרמלי ואשתו) טיפלה בו במסירות. כשהחלים חזר לעבוד בפרדסים ובעיקר בפרדם של הד"ר א. מזיא. כשהתחדדו היחסים בין האכרים והפועלים בפ"ת והאכרים הכריזו "חרם" על הפועלים העברים, לא הצטרף הד"ר מזיא למחרימים, ואף-על-פי-כן עזבו גם פועליו, וביניהם א. ד. גורדון, את המושבה, וגורדון עבר לרחובות ואח"כ הופיע כטוען עיקרי מצד הפועלים בפני המשלחת הצבורית שבאה מיפו לשם בירור הסכסוך. ברחובות ניסה לעבוד בקבלנות בחפירת תעלות ולא הצליח. צעירי המושבה, שנתחבב עליהם, הציעו לו עבודה כמזכיר בועד המושבה או באגודת הכורמים המקומית, אך הוא סירב לחזור לעבודה פקידותית. בסוף קיבל עבודה כמסיק התנור לתעשית אלכוהול ביקב המקומי הקטן, עבודה שנעשתה בלילות. ומשנגמרה העבודה ביקב עבד כנוטר בכרמים.
באותו הזמן עלתה אליו בתו יעל מרוסיה, באלול תרס"ח, וכשהלך בראשית תרס"ט ליפו לסדר את הניירות בשביל עלית אשתו התנפלו עליו ערבים בדרך והכוהו ודקרוהו ושוב נפל למשכב לזמן ממושך, וכשקם לא יכול מיד לחזור לעבודה גופנית ועבד בתרגומים (תרגם את "מאורעות עולם" ו"המלחמה במלחמה" לנ. רובאקין בחתימת "זקן"), ובסיון תרס"ט חזר לעבודה חקלאית בפ"ת. בסוף השנה באה אשתו מחו"ל ושכרו להם בית קטן בעין-גנים שליד פ"ת. באותו זמן גרו בעין-גנים גם י. ח. ברנר, ברל כצנלסון ודוד שמעונוביץ , ובשעות הפנאי היו מתכנסים בצריפו של א. ד. גורדון ועוסקים בוכוחים ערים ונלהבים בשאלות הציונות והישוב. טובי הפועלים מבני המקום היו באים אל "אהל מועד" זה לקלוט "דברי תורה" משיחות תלמידי-חכמים אלה. ה"רבי" המרכזי בחבורה זו היה א. ד. גורדון. חבר מן השורה ב"הפועל הצעיר", סירב לקבל כל מינוי וכל כיבוד צבורי ולמעשה היה מנהיגה הרוחני של והתנועה ולדבריו ולמאמריו ב"הפועל הצעיר" ולמכתביו ולרשימותיו היה משקל רב גם בחוגי התנועה החלוצית בחו"ל. בעיניו היתה תנועת העובדים מיועדת לא למלחמה מעמדית (ואשר על כן התנגד בתוקף לאיחוד "הפועל הצעיר" עם "פועלי ציון"), אלא דרך להתעלות רוחנית ולהשתלמות יהודית-אנושית על-ידי יצירה ועבודה בארץ-ישראל, ולתורתו זו, שקראו לה "דת העבודה", נתן ביטוי יפה ומשכנע בכתביו הרבים (כתביו ואגרותיו נאספו ויצאו לאור ב-5 כרכים וכמה ממכתביו יצאו בחוברות מיוחדות ובתרגומים לאידית, גרמנית ועוד), ובאמרותיו שבעל-פה, שנמסרו מאיש לאיש (כמו דברי-תורה של "רבי") ושימשו מסד