באלול תר"ל בימי נשואיו נפגש עם אביו. האב שהגיעו לאוזניו ידיעות, שבנו המשכיל אינו מתנהג כחרדים ויראים, רגז על התנהגותו של הבן. חזר לביתו נסער ונרגז. באה הפסקה בחליפת המכתבים ביניהם. במשך כמה שנים האב חיכה למכתב התנצלות.
היות והחותן לא יכול היה לתמוך בו, החליט להישאר בווילנא להתכונן לבחינות בבית המדרש לרבנים וללמוד אח"כ באוניברסיטה ברוסיה. אחרי כשנה עזב את וילנא והלך לז'יטומיר, שגם שם היה בית מדרש לרבנים. הרב חיים-זליג סלונימסקי, שהיה מנהל בית המדרש לרבנים, בירך את המשכיל הלמדן. שפירא היה מוכן לבחינות, אולם החליט לפתע, למרות עצתו של חז"ס, ללכת לאודיסה. ע"י עזיבתו את ז'יטומיר ביטל במחי-יד את תוכניתו בדבר לימודים באוניברסיטה רוסית.
התיישב באודיסה, בזמן הראשון היו חייו קשים ועלובים כמקודם. בעזרתו של מ. מ. ליליינבלום קיבל עבודה כמורה פרטי לעברית. רצה להדפיס את חיבוריו (ה"מסכתות") אולם לא היה לו כסף לכך. גם את אשתו לא יכול היה להביא מווילנא אליו. בריאותו היתה רופפת מכבר, מהסבל והנדודים, חלה אז במחלה קשה. שכב בבית החולים היהודי כעשרה חודשים. אחרי שקם מחליו קיבל עבודה כפנקסן בבית מסחר. חדל אז לגמרי לעסוק בלימודים ונעשה איש המסחר.
בחייו חל אז שינוי רב. הפך לאיש מעשה, השואף להרוויח כסף, כדי ליהנות מחיים נוחים, מיד לאחר שקיבל את המשרה בבית המסחר, שכר לו דירה והזמין אליו את אשתו מווילנא. לא היה מרוצה ורצה בשינויים בחייו אלה. התפטר ממשרתו, שלח את אשתו בחזרה לווילנא ובעצמו נסע לחרסון. החליף עם אשתו מכתבי ידידות, ובידידות נתן לה גט פיטורין.
בשנת תרל"ו (1876) נשא באודיסה לאשה בחורה צעירה, את קלארה לבית בלאנק, שהיתה נכנסת לביתם והיתה בידידות עם אשתו הקודמת. היתה מסורה לבעלה. התמסרה לתנועת הנשים הציוניות. אחרי פטירתו של בעלה השתלמה בשעורים לאחיות, ועבדה בבית חולים. ב-1940 ביקרה בא"י, ימים מועטים לפני מלחמת העולם הראשונה (1914), עלתה לארץ ונפטרה בירושלים. הניחה אחריה 40,000 פראנק.
אחרי נישואיו עם אשה צעירה ממנו בהרבה, נעשה גם הוא כאילו צעיר יותר. המרץ והחריצות, שהראה כבר לפני כן בעבודתו כעוזר בבתי מסחר, גדלו. בזמן המלחמה בין רוסיה לתורכיה, נסע בשנת תרל"ז (1877) לרומניה והרוויח סכומים הגונים. אז חל שוב שינוי בחייו. ברגע שראה שבידו יש כסף, שיאפשר לו לשבת וללמוד, החליט לשוב ללימודים. ידידיו הופתעו מהחלטה זו, מעזיבת המסחר, שהצליח בו, ישיבתו ללימודים. אשתו הצעירה עודדה אותו ונלוותה אליו כשנסע לגרמניה, לברלין ואח"כ להיידלברג, ללמוד מתמטיקה והנדסה.
בן 38 היה כשבא באוקטובר 1878 להיידלברג ללמוד. היה מוכרח להתחיל הכל מחדש, כי במשך 8 ח שנים שבהן הפסיק את לימודיו בברלין, שכח אפילו את היסודות של המתמטיקה. הפרופ' היהודי מ. קנטור סייע לו בלימודיו והורה לו באופן פרטי גם מחוץ להרצאותיו באוניברסיטה.
במוחו התעוררו השגות. ספקות ורעיונות חדשים, שהביאו את הפרופסורים לידי השתוממות. מוחו הגאוני של העילוי מליטא לא רק השתלט במהירות מפליאה על שטחים נרחבים במדע המתמטיקה, אלא גם התחיל ליצור תיאוריות הדשות. כבר בשנה הראשונה ללימודיו הרצה הרצאות על תפיסות מיוחדות במתמטיקה.
גם לימודיו בהיידלברג הופרעו בגלל חוסר אמצעים להמשיך בהם. חזר לרוסיה. בא לפטרבורג, ושם השיג בהשתדלותו של ר' צבי הכהן רבינוביץ, בעל "המנוחה והתנועה", סיוע כספי מהבארון ח. גינצ בורג עד שסיים את לימודיו.
בשנת 1880, שנתיים לאחר שחידש את לימודיו, קיבל את התואר ד"ר.
חזר לרוסיה. האוניברסיטה של אודיסה החליטה להרשות לו לעמוד במבחן לקבלת תואר "מגיסטר" בלי שום פורמליות רגילה. החברה למדעי הטבע ולמתמטיקה באודיסה קיבלה אותו לחבר ופירסמה בדפוס חלק מספרו רב הכמות. פרופ' של האוניברסיטה באודיסה כתב ביקורת על הספר וציין, שבספר הזה מתחיל כיוון חדש במתמטיקה. הוצעה לו אז קתידרה באוניברסיטה קאזאן, כמרצה פרטי, אולם הוא לא אבה ללכת לעיר מרוחקת באסיה, מחשש שמא לא יוכל שם לעקוב אחר התפתחות המדע ולהוציא לפועל את תוכניותיו בדבר חיבור כמה ספרים גדולים.
חזר להיידלברג. בראשית שנת 1883 נתמנה למרצה פרטי באוניברסיטה.
בקיץ של שנת 1887 עלה לדרגת פרופסור מן המניין. הגיע במקצועו במתמטיקה להישגים חשובים. את הרצאותיו היו באים לשמוע לפעמים לא רק תל מידים, אלא גם רבותיו לפנים וחבריו למקצוע. היה פרופ' לחכמת השיעור באוניברסיטת היידלברג.
שעה שהיה שקוע כולו בלימודיו ומחקריו במתמטיקה, פרצו הפרעות ברוסיה, אלה עשו עליו, כמו על רבים מבני דורו, רושם עמוק מאוד. בנפשו התחוללה סערה, שהביאה אותו אל פתרון בעיית היהודים ע"י יציאתם מהגולה. בנפשו חל שינוי גם ביחסו אל הבעיות הפנימיות, כמו השכלה והדת. חזר אל המסורת והדת.
בנאומו בברלין בשנת 1897 סיפר, שכבר מילדותו ראה בא"י את הפתרון לצרת היהודים. כבר בסוף שנות השבעים של המאה הקודמת הגה את רעיון ישוב א"י וכבר אז חלם (1882) על יסוד בית ספר גבוה עברי בירושלים (האוניברסיטה העברית).
היה מהראשונים שנצטרפו לחיבת ציון ואחר לציונות המדינית.
בקונגרס הציוני הראשון בבאזל (1897) העלה את