ויחסים טובים גם עם עולי רוסיה העירוניים שביפו (עבד גם במשתלות הירקות ובפלחה בבן-שמן).
ב-1907 נתמנה למזכיר חברת "אחוזת בית" ביפו, שהתארגנה ליסד שכונה עברית מודרנית מחוץ לעיר, מעבר לשכונה הקיצונית נוה צדק (היא השכונה שנקראה אח"כ בשם "תל-אביב" והיתה גרעין לעיר העברית שהתפתחה על גבול יפו). עשה את עבודתו בדייקנות למופת, בראותו בעבודה משרדית זו השתתפות ביצירה בעלת עתידות גדולות בבנין הארץ לפי ממדי הימים ההם. בו בזמן היה חבר פעיל בצבור הפועלים ביפו, השתתף ביסוד קלוב הפועלים ונבחר לועד שלו (יחד עם אהרן שוחט, א. פין, משח גולדנברג, צ. פייגין, יעקב כהן וויסבורשט) . אך כשהגיעו פעולות החברה לשלב ההגשמה והנהלת ועד האגודה ביקשה ממנו, שבתור מזכיר יפקח על העבודות בבנית השכונה, הודיע שהוא לא נטל עליו את התפקיד הזה כשנכנס לשרות החברה והתפטר מהמשרה, אף כי שכר 40 פרנק לחודש היה אז שכר יפה למדי בשביל פקיד עירוני, וחזר לעבודה בתור פועל חקלאי. עלה הגלילה להצטרף לחברים שנכנסו שם לעבודה "חקלאית ממש" (כך נחשבה אז עבודת הפלחה לעומת עבודות הפרדס והכרם במושבות יהודה).
השתתף (בסיון-תרס"ח) ביסוד אגודת "החורש" של פועלי הגליל ונטל עליו גם את עבודת המזכירות שלה. עבד בסג'רה (עם דוד בן-גוריון, ישראל שוחט, ש. צמח ואחרים) ובמשקי האכרים במסחה (כפר תבור יחד עם מנדלי פורטוגלי ואחרים). וביבנאל (את שמה של המושבה זו בחר לשם-משפחתו העברי).
חזר ליהודה ועבד במושבות, התמסר גם לעבודה תרבותית וארגונית בצבור הפועלים ונתגלה כבעל כושר לחנך ולשכנע, להקנות לאנשי העמל את הכרת יעודם הלאומי והחברתי ואת הצורך להתלכד ולפעול למען מטרותיהם. גם בכתב פעל בשרות הרעיון במאמרים שהחל כותב ב"הפועל הצעיר" ואח"כ בכתבי-עת אחרים.
תוך עבודתו במושבות יהודה בא במגע עם הפועלים שעלו מתימן בשנת תרס"ט, במספר כמה עשרות, שנקלטו בעבודה בראשון לציון וברחובות, עמד על סגולותיהם הטובות כיהודים שרשיים, כאנשי עבודה צנועים ושקדנים ובעלי מדות טובות, המסתפקים במועט ומאושרים בזכותם הגדולה לעבוד ולחיות בארץ הקודש. וכשבא בדברים עם ראשי המשרד הארצישראלי (ד"ר א. רופין והד"ר יעקב טהון) בעניני הפועלים, שה"משרד" (שהיה אז זרוע-הביצוע של ההסתדרות הציונית העולמית לעבודה המעשית בארץ-ישראל) עזר להם במדת-מה להתערותם בארץ ולקיום מוסדותיהם, היה מספר להם בשבחם של הפועלים התימנים, שנמצאו מוכשרים לכיבוש העבודה במושבות, ואף שיכנע את ראשי המשרד שכדאי להביא מתימן אנשים כאלה במספר גדול ככל האפשר, שירבו כמותם בישראל. גם פעילי הישוב והמושבות ידעו לספר אך טובות על העולים המעטים מתימן.
כשהחליט המשרד להעלות משם יהודים נוספים בחר ביבנאלי להיות השליח מבשר הגאולה, שיסע לתימן ויעורר את היהודים לעלות אל הארץ, שיהודים מארצות רחוקות אחרות כבר תוקעים בה יתד וסוללים את הדרך לקראת הגאולה השלמה. כי יבנאלי , שכבר ידע לדבר עברית וגם התחבב על עולי תימן המעטים שבמושבות, נמצא מוכשר לצאת למסע לארץ ערבית נדחת זו, שזרים אינם רצויים בה ואף צפויים לסכנות, ולהשפיע על היהודים החיים שם. ואף כי השליחות כרוכה בסכנות מרובות הסכים יבנאלי לקבלה על עצמו למען התועלת החיונית הצפויה ממנה להגשמת הציונות על-ידי כיבוש העבודה החקלאית לידים עבריות.
בימים ההם היתה תימן באופן רשמי ארץ חסותו של השולטן הטורקי ותושביה נחשבו איפוא כנתיני השולטן, הרשאים לבוא לכל מקום שהוא בקיסרות העותומנית (ובכלל זה גם לארץ-ישראל) כרצונם החפשי ואינם זקוקים לדרכון ולרשיון-כניסה. ומי שזוכר כמה הגבלות היו אז מטעם השלטונות הטורקיים על כניסת יהודים מהארצות הנוצריות לארץ--ישראל, יודע להעריך את האפשרות הגדולה שניתנה להכניס ארצה המוני יהודים כאזרחים שאינם זקוקים לרשיונות. אף-על-פי-כן היה יסוד לחשוש, שהשלטון הטורקי יפריע, ולשם כך יוכל גם להוציא חוק חדש או פקודה חדשה, בניגוד לחוק, כדי למנוע "הפצת הארץ ביהודים", ולפיכך היה צורך למצוא איזו אמתלה להסוות את מטרת הנסיעה של השליח. בתחילה אמרו לשלחו כאילו מטעם בית-הספר למלאכת-אמנות "בצלאל", כדי להתחקות בתימן עלי המוטיבים של עבודות-הכסף הפיליגראניות שיהודים עושים שם. אך מחשש שהשלטונות בתימן לא יאמינו בחשיבותם של מלאכת-האמנות היהודית בארצם עד כדי כך, שיהא כדאי לשלוח אדם ממרחקים ללמוד את פרטיה, ועוד עלולים לחשוד בשליח שבא לשם ריגול, המוצאה אחר-כך אמתלה מסתברת יותר: מאחר שהעולים מתימן הביאו עמהם חוקים ומנהגים דתיים שונים מהמקובלים אצל יתר היהודים, שולחים רבני ארץ-ישראל שליח יודע תורה כדי לחקור אצל רבני תימן את המקורות והנימוקים לנוהג המיוחד שלהם. והרב א. י. קוק זצ"ל, רבה של קהלת יפו בזמן ההוא, נתן את ידו ל"מזימה" וערך בכתב שלשים ושתים שאלות לרבני תימן, בבקשה שימסרו את תשובותיהם ל"החכם אליעזר בן יוסף" (לפי תעודת הנפוס (הלידה) התורכי של האכר אליעזר בן יוסף פינחסוביץ מפתח-תקוה (ראה כרך ג', עמוד 1218).
מצויד בשאלון הדתי והתעודה נסע יבנאלי (בט"ו כסלו תרע"א מיפו לפורט סעיד דרך סועץ לג'יבוטי) לעדן. שם קיבל עזרה והדרכה והמלצות מהדיין מארי יצחק של עדת יוצאי תימן בעדן, ואחרי כחודש ימים, ללימוד ההליכות והמנהגים עם יהודים וגויים באותה ארץ לא-נודעת, חדר לתימן עם שיירה מסחרית, לבוש כיהודי תימני, עטוף בטלית מצויצת והולך יחף בדרכים כמנהג הילידים, ונתקבל בכבוד על-ידי היהודים ורבניהם בעיר הבירה צנעא, ואף נכבדי הגויים קיבלוהו בכבוד, אחר כך נדד ברגל וברכיבה על גבי בהמה מעיר לעיר ומקיבוץ יהודי לקיבוץ יהודי, ובכל מקום קיבלו יהודי