מאז שהחל בשנת 1925 לכתוב בעיתון דבר בלט שרת (אז עדיין שרתוק)גם בפעילותו המפלגתית במסגרת מפלגת אחדות העבודה.
ב-1931 מונה למזכיר המחלקה המדינית של הסוכנות היהודית תחת חיים ארלוזרוב.
לאחר רצח ארלוזרוב בשנת 1933 שרת מונה לראש הוועד המדינית של הסוכנות, תפקיד אותו מילא בין השנים 1933-1948.
צידד בהבלגה ובתוכנית החלוקה, ואולם יחד עם זאת היה פעיל בהתיישבות והיה בין אדריכלי התיישבות "חומה ומגדל". פעל למען חיזוק ההגנה ועל הצלת שארית הפליטה והבאתם ארצה. בשבת השחורה בספטמבר 1946 נאסר יחד עם מנהיגי הישוב ונכלא בלטרון.
במלחמת העולם השנייה היה מן הפעילים בהקמת הבריגדה היהודית ובתום המלחמה עמד כולו בשרות הדיפלומטי של הסוכנות היהודית ואחר כך של מדינת ישראל. היה בין הפעילים בעצרת האומות המאוחדות לקבלת החלטות שישרתו את הקמת המדינה היהודית.
שיאה של אותה פעילות היה בקבלת תוכנית החלוקה.
מאז הכרזת המדינה כיהן שרת כשר חוץ תחת הנהגתו של דוד בן גוריון. הקים את השרות הדיפלומטי ופעל רבות כדי למנוע את גינויה של ישראל ובידודה הבינלאומי, בתפקיד זה כיהן בין השנים 1948-1955.
ב-1953, לאחר התפטרות בן גוריון הוא מונה לראש ממשלה וכיהן בתפקיד בין 1953-1955, עד לחזרתו של בן גוריון.
באחרית ימיו פעל במסגרת פעילותו הפוליטית בתפקידים רבים מטעם מפא"י, שימש כיו"ר ההנהלה הציונית והסוכנות היהודית בין השנים 1961 - 1965.
נפטר בירושלים בשנת 1965.