על השאיפות הציוניות שמע בפעם הראשונה בשנת 1892 ב"אגודת גראטץ". בשנות 1897-1901 ביקר כאורח בכמה אספות ציוניות, ב"נוסח בזל", ולא מצא בהן ענין. הוא ביקש לשמוע עובדות ממשיות על א''י, על אפשרויות החיים בה. פעם נסע בכוונה ללייפציג לשמוע הרצאה ציונית, מפי אישיות "רשמית", וחזר מאוכזב. הוא לא שמע דבר. ורק בשנות 1902-03 שמע במאגדבורג הרצאות יותר מענינות של גרונמן וגולדברג. זיקתו לציונות גברה אחר טיפולו בהווי היהודי בגולה. בשנת 1903 בא אל ד"ר אלפרד נוסיג, שיסד בברלין חברה לסטאטיסטיקה של היהודים, והציע לו את שירותו והתחיל לעבוד עמו. שם הכיר את חברו בעתיד, ד"ר יעקב טהון (ראה כרך ד', עמוד 1610), שעבד אף הוא עמו, ומפיו של ד"ר טהון שמע לראשונה דברים שעוררו בו ענין חיוני בציונות ובישוב העברי בא"י. הציונות הדיפלומאטית נראתה לרופין כנטולת סיכויים ורחוקה מן המציאות. הישוב נראה לו תופעה חיונית ורבת האפשרויות. באותו זמן התקרב גם אל חוגי הציונים בברלין: ברנרד פייבל, דוד טריטש, בובר והיימן , שחלמו על התישבות יהודית בא"י במקום "הציונות המופשטת", ואז מצא ציונות מה שביקשה נפשו.
בשנת 1905 נכנס באופן רשמי להסתדרות הציונית, ובקיץ של אותה שנה השתתף בקונגרס הציוני השביעי בבזל (1905), ולא כציר, אלא כאחד מן האורחים. בשנת 1907 הציג אותו הד''ר יעקב טהון לפני הפרופ' אוטו ווארבורג , וכששמע הפרופ' ווארבורג, שהוא חושב על תיור בא"י, ייפה את כוחו, בשמו ובשם דוד וולפסון , נשיא ההסתדרות הציונית אז, לחקור את עניני הישוב וליישב אילו בעיות מעשיות שהעסיקום.
בשנת 1907 ביקר בפעם הראשונה בארץ "לבדוק את הענינים" ולהשיב את שולחיו דבר.
בשנת 1908 עלה עם בני משפחתו לארץ ופתח את ה"משרד הארצישראלי" בדירה קטנה שבאחת הסמטאות של יפו. בזמן הראשון היה זר לכל הסביבה. הוא "גרמני" והסביבה ברובה "רוסית". חבריו אהבוהו ובעקבותיה בא גם האמון והעזרה ההדדית. השתדל לעודד את העושים, וכלפי חוץ - התאמץ לעורר את האמון בעושים ואת האמונה בהתחלת המעשים בארץ. הוא לא עסק בהטפה לציונות. דבריו אל הצבור בגולה ואל העומדים בראשו היו רק לשון של תכניות ודינים וחשבונות על מעשים שנעשו.
מעשהו הראשון נכשל. ה"חוות" בבן-שמן, חולדה וכנרת, שיסד כדי להוכיח שההון המושקע בחקלאות יכול לתת רווחים וכדי לחנוך בהן פועלים חקלאיים מקצועיים. במקום רווחים באו הפסדים ניכרים ומתמידים, והחוות לא חינכו פועלים, וקוממו אותם על מנהליהם. השביתה בכנרת היתה האות הראשון לחיסול כל המפעל. ואז עשה נסיון חדש. הוא מסר חלקת אדמה מאדמת החווה כנרת, שמעבר לירדן מזרחה, לחבורה קטנה של פועלים לעבדה על אחריות עצמם. ומעשה קטן זה היה למפריע בתולדות התיישבותנו החקלאית, בתולדות פועלי א"י. כל מפעלו ההתישבותי אחר-כך היה המשך של הנסיון הקטן מעבר לירדן מזרחה, המשך מרובה הצדדים ומרובה הגוונים, וע''י זה זכה להקים דור של עובדי אדמה עבריים בארץ, המוציאים את לחמם מן האדמה.
גורמים שונים גרמו להצלחתו של רופין. הנסיונות של "העליה הראשונה", שלמרות כל כשלונותיהם הכשירו את הקרקע במושבות - להמשך המפעל החקלאי, ומצד שני, בניה של "העליה השניה", שגדלו באוירה ציונית והוכשרו בתוך המושבות הקיימות בארץ לעבודה. גם ההתקדמות של המדע החקלאי בארץ נתן דחיפה עצומה להתפתחות החקלאות.
הוא סמך את ידיו כבא-כוחה ושליחה של ההסתדרות הציונית על השיטה, שאליעזר יפה (ראה כרך א', עמוד 395) היה נביאה והאגרונום יצחק וולקאני (וילקנסקי) ביססה על בסיס מדעי ושמה: משק מעורב, משק שכל ענפיו נבנים זה מזה ושמתוך כולם נבנה האכר, ויחד עמו נבנה הישוב. ובכל כוח השפעתו המכריעה. תמך רופין בה והגין עליה בפני המקטרגים - והוא ניצח.
הוא תמך בדגניה וגם בעין חרוד, הקבוצה הגדולה בבחינת "אחוז בזה וגם מזה אל תנח את ידך".
עמדה לו גם בפתרון עוד בעיה ישובית חשובה אחת: "מה עדיף - הון פרטי או הון צבורי?" הוא גילה את כוחו ואת יעילותו של ההון הצבורי לגבי התיישבות חקלאית, והוא המשיך לתמוך גם בהתחלות של ההון הפרטי במשק החקלאי. "חברת הכשרת הישוב" (1908) שהוא יסדה (עם פרופ' ווארבורג) וניהלה (יחד עם ד"ר יעקב טהון ), שרתה גם את הקרן הקיימת לישראל וגם את המתנחלים הפרטיים. הוא נתן הרבה מכוחו, זמנו ומרצו ליסוד ה"אחוזות". יסד את "רסקו", שטיפלה בהתיישבות המעמד הבינוני של עולי גרמניה.
הקוים היסודיים של תכניתו היו: ייבוש הביצות, יצירת אפשרות של השקאת שני מיליון דונם אדמה, רכישת אדמתם של בעלי הקרקעות הערבים הגדולים להתישבות חקלאית עברית צפופה וקביעת חלקות אדמה, בנות 15-10 דונם, להיות רכושם הפרטי של בתיאב האריסים הערבים שישבו על הקרקעות הנ"ל ויעבדו אותם, והקמת משק ראציונאלי בחלקות הנזכרות על בסיס של השקאה.
תכנית זו שהיתה זקוקה לעשרות מיליונים לא"י גם בימים ההם, היו צריכות להגשים בשותפות ממשלת המנדט והתנועה הציונית.
התכנית לא הוגשמה מחוסר אמצעים כספיים.
היה פעיל בארגון עלית התימנים (שליחת שמואל יבנאלי לתימן - ב-1911), מסייע לבניית תל-אביב (הלואת הקהק"ל) ומחבר תכנית לחוקתה הראשונה, פעיל בגאולת הדר הכרמל, הכרמל בחיפה. עזר לבנית שכונות בירושנים.
ב-22.3.1908 נשא לאשה את בת דודתו שולמית (סלמה) בת רפאל לבק (יסדה ב-1910 את הקונסרב