עם הקמת הממשלה ה-31 בראשות אהוד אולמרט, ב-4 במאי 2006, מונה הרצוג לתפקיד שר התיירות. עם כניסת ישראל ביתנו לממשלה, וההחלטה על העברת משרד התיירות אליה, סיים את תפקידו. ב-21 במרץ 2007 אישרה הכנסת את מינויו לתפקיד שר הרווחה והשירותים החברתיים, וכן לתפקיד השר לענייני תפוצות, חברה ומאבק באנטישמיות. ב-4 ביולי 2007 מונה הרצוג לשר הממונה על רשות השידור, בנוסף לתפקידיו האחרים בממשלה.