גמר רשמית לסגן-אומן ועבד כשכיר אצל נגרים, עד שבגיל 17 החל עובד עם אחיו הבכור בציור שלטים ושרטוט כתבות על מצבות (אחת ממלאכות האב), סמוך לאותו זמן הצטרף לאגודת -פועלי ציון" שנוסדה אז בעיר בראשותו של הגימנזיסט י. שימשלביץ (כיום יצחק בן-צבי). בעת הפרעות השתתף בפעילות בהגנה העצמית היהודית, שהצליחה למנוע פרעות בפולטאבה, והצליח להביא בשביל תנועתו 40 אקדחים מגבול גרמניה שבצפון בהעלמה מעיניה הפקוחות של הבולשת הצארית, וכשנפצע סמוך ללבו בתאונת-נשק ב''הגנה" ונרפא, עבר גם כל זה בלי ידיעת הבולשת.
התמסר לפעילות למען "פועלי ציון", ובהתאם לאופי המחתרתי של ההתארגנות, שחייבה קביעת שמות-מחתרת לחברים הפעילים, הפך הוא, יעקב ישראל ויטקין (שאביו קרא לו בשם זה לזכר הרבי מצ'רקאסי, אחיו של הרבי מרחמיסטריבקה), ל"זרובבל", ושם זה היה אח"כ שמו הספרותי והעסקני ובסוף גם שמו הרשמי היחידי. התחיל נואם מטעם המפלגה באידית (זה היה אז חידוש מהפכני, כי לפי האופנה דיברו על כל נושא "אינטליגנטי" אך ורק ברוסית), והשתתף בדצמבר 1905 בועידה המחוזית של המפלגה בפולטאבה, בה הופיע דב בורוכוב בראשונה בתור פועל-ציון (ונעשה אח"כ למורה ורבה של התנועה), וזרובבל נבחר לועד המחוזי, ואח"כ בועידת היסוד (פורים תרס"ו) נבחר לועד המרכזי (הצעיר שבחבריו, מיסדי המפלגה) יחד עם י. בן צבי, גולדה לישאנסקי (רחל ינאית) ואחרים. אח"כ ביקר והתגורר בערים שונות באוקראינה ועזר לבורוכוב בהוצאת עתון בלתי-ליגאלי של המפלגה (ברוסית) ובמזכירות הועד המרכזי. כשהוחרם העתון וחברי המערכת נאסרו ניצל הוא ממאסר מפני שבאותו לילה לא לן בבית אמו, ובמקומו אסרה המשטרה את אחיו הגדול, אף כי ידעה שהוא ציוני ליגאלי, לבל תצא ריקם מהבית.
לפי הוראה ששלח בורוכוב מהכלא עבר זרובבל עם יתר חברי הועד המרכזי לוילנה, המשיך בתפקידיו הקודמים והניח יסוד לעתונות ולהוצאת ספרים "דער האמער" של המפלגה באידית. כדי להפטר מהשרות בצבא השתמש יחד עם בן-צבי בדרכון של איצקה זאיקה, וכשנאסר בן-צבי בדרך לועידת גרודנה והדרכון הוחרם, השתמש זרובבל לתעודת זהות בדרכון על שם כתריאל שוב (שמו המקורי של ליאון חזנוביץ שיצא אז לחו"ל). באותה תקופה הוציאו בוילנה שלושה גליונות עתונם בשם "דער פראלעטארישער געדאנק" (המחשבה הפרוליטארית), ואחרי החרמתו הוציאו שלושה גליונות נוספים בשם "פארווערטס". בינתים ביקר, כיתר חברי המרכז, בערים שונות באיסוף כסף ל"פדיון שבויים", לשחרר את בורוכוב מהכלא בערבות, ואחרי שחרורו היה "יושב בסתר" במינסק ואליו נסעו מפעם לפעם החברים מוילנה לשמוע תורה מפי ה"רבי", "הגאון מפולטאבה". בביקורים בוארשה ובלוח בא זרובבל בקשרים עם גדולי הספרות האידית והחל מפרסם מאמרי בקורת ספרותית בעתון הוארשאי "רומאנצייטונג" בעריכת מ. קרינסקי. לועידת פועלי ציון ב-1907 בקראקוב (אז תחת שלטון אוסטרי) עבר הלוך ושוב בגניבת הגבול והשתמש בדרכונו של מרדכי מרחים , בן 38, והוא עצמו אז בן 21, אלא שגידל לו זקן שחור לשנות את פרצופו המוכר למשטרה מפולטאבה. פעם, נאסר בוילנה עם כל באי המערכת, ואחרי שערת מספר שוחררו. פעם אחרת, כשנאסרו חברי מרכז פועלי ציון בקיוב, ובאותו זמן הגיעו אליו מכתבים מקיוב על "שם מושאל", נאסר גם הוא בלכתו ברחוב בוילנה. חודש ימים הוחזק במעצר בבית המשטרה, וכשנכשל נסיונו לברוח משם בבגדי אשה הועבר לכלא המבוצר לוקישקי והוחזק שם במעצר-חקירה 18 חודש בחדר מיוחד ומסוגר בשני מנעולים. כאסיר פוליטי השתמש ברשותו ליהנות משרותי הספריה המסודרת הגדולה של המוסד, ובתור "בן ישיבה" סמוך על שולחן הקיסר שקד על השתלמותו בספרות מדעית, סוציאלית, פיוטית ובלטריסטית מקורית ומתורגמת ברוסית ובגרמנית. שימש "מוכתר" האסירים, ערך והפיץ בכתב-יד את הירחון "דער תפיסה געדאנק" (הגיגי הכלא) באידית לאסירים על המאורעות והחויות בכלא, תרגם לאידית את ספרו של אבינאריוס "הפילוסופיה בתור הגות על התבל" וכתב מסות ספרותיות, אך כשניסה להבריח את כתביו החוצה נפלו בידי הג'נדרמריה הוילנאית ונשארו אצלה. בינתים נחקר גם על "אשמות" כתריאל שוב, באשר השתמש בדרכון של ההוא, אך הצליח להוכיח שהוא אינו שוב, ובסוף הועמד לדין על אשמת עצמו בלבד, "ניהול התעמולה המפלגתית של פועלי ציון בשם זרובבל" - ושוחרר מחוסר הוכחות מספיקות. חידש את פעולות המרכז בוילנה, הוציא את המאסף "די יוגנדשטימע" (קול הנוער) ועלונים ספרותיים שונים והשתתף בחיים החברתיים והספרותיים, ובסוף עזב את ממלכת הצאר ויצא בגניבת הגבול לגליציה.
בלבוב ערך את עתון המפלגה "דער יידישער ארבעטער" (הפועל היהודי) וביחד עם בורוכוב שהשתקע בוינה, ערך את העתון "דאס פרייע ווארט" (המלה החפשית) של פוע"צ ברוסיה, שנערך ונדפס בגליציה ונשלח אל מעבר לגבול. הוציא בסטאניסלוב את הקובץ הספרותי "יוגנט" (נעורים), ובהרצאותיו בערי גליציה ובוקובינה רכש נפשות לציונות הסוציאליסטית ולתרבות הלאומית. והנה הוזמן להנהגת המפלגה בארגנטינה ולהשתתפות במערכת העתון שפוע"צ מתכוננים להוציא בארץ-ישראל, והוא בחר בארץ-ישראל, ואחרי הפיצו מניות הוצאת "אחדות" בביקורי הפרידה בערי גליציה הגיע ארצה ב-1910.
השתתף כסופר וכמזכיר המערכת בעתון "האחדות'' שהחל אז לצאת כירחון ואחרי שלושה גליונות התפתח לשבועון. פרסם בקביעות מאמרים בלי חתימה ובכינויים י. ישראלי, שמשון, י. ווין, נ. וותיק ופיליטון סאטית קבוע "רפרופים" בחתימת סגי נהור . כמזכיר הועד המרכזי עבר את הארץ לארכה ולרחבה ברגל, ברכיבה ובדיליז'נסים, השתתף בועידות הפועלים בגליל וביהודה, וכחבר משרד העבודה של ברית פוע"צ עשה תע