ב-8 בנובמבר 1959 התגייס לצה"ל והחל את שירותו בגדוד 9 של חרמ"ש. לאחר הטירונות אותר והגיע לשרת בסיירת מטכ"ל, עליה גם פיקד בשנים 1971-1973. בסיירת השתתף במבצעים עלומים רבים כמו גם מפורסמים, בהם פיקוד על מבצע שחרור חטופי מטוס סבנה במאי 1972 (ברק היה מהלוחמים שהגיעו למטוס בסרבלים לבנים במסווה של טכנאים; לימים תשמש אותו תמונתו על כנף המטוס בתעמולת הבחירות), "מבצע אביב נעורים" (חיסול מנהיגי הטרור הפלסטיני בלב ביירות, שם התחפש לאישה) באפריל 1973 ועוד. הוא נמנה גם עם מתכנני מבצע אנטבה.
במהלך שירותו בסיירת, הוענקו לברק מספר רב של עיטורים: הוא קיבל את עיטור המופת וכן ארבע פעמים את צל"ש הרמטכ"ל. עיטור המופת הוענק לו ב-1973 במקום אחד הצל"שים שקיבל על חלקו בהובלת המבצעים "חלוץ" ו"שרקרק" בשטח מצרים ב-1963 וב-1964. נסיבות קבלת שאר העיטורים חסויות.
הוא חולק עם נחמיה כהן את התואר (הלא רשמי) "החייל המעוטר ביותר בצה"ל". במלחמת יום הכיפורים שב מלימודיו בארצות הברית ופיקד על גדוד טנקים מאולתר שבין השאר חילץ את גדוד הצנחנים בפיקודו של איציק מרדכי בקרבות החווה הסינית.
ב-1982 קודם ברק לדרגת אלוף ומונה לתפקיד ראש אגף התכנון בצה"ל. במלחמת לבנון היה סגנו של מפקד הגיס המזרחי, אביגדור בן גל. בשנת 1983 מונה לתפקיד ראש אגף המודיעין, ולאחר מכן, בשנת 1986 מונה לתפקיד אלוף פיקוד המרכז. בזמן כהונתו כאלוף פיקוד המרכז היה ברק אחראי על הקמת יחידה מיוחדת ללוחמה בטרור בשטחי יהודה ושומרון - יחידת דובדבן. בשנים 1991 - 1987 שימש בתפקיד סגן הרמטכ"ל.
ב?1 באפריל 1991 הועלה לדרגת רב-אלוף ומונה לרמטכ"ל ה-14 של צה"ל, תפקיד אותו מילא עד ה-1 בינואר 1995, עת פרש מצה"ל. כרמטכ"ל היה אחראי על יישום הסדרי הביטחון ויציאת כוחות צה"ל מעזה ומיריחו במסגרת מימוש הסכם אוסלו א'. כרמטכ"ל, לקח חלק בגיבוש הצדדים הצבאיים של הסכם השלום עם ירדן שנחתם בשנת 1994. ברק גם היה שליחו של רבין לשיחות עם סוריה ולבנון באותה שנה.
בזמן כהונתו אירע אסון צאלים ב': ב?5 בנובמבר 1992 נהרגו חמישה חיילים ועוד שישה נפצעו באימון לקראת מבצע שנועד לחסל את נשיא עיראק סדאם חוסיין. ברק וקציני מטכ"ל נוספים, שבאו לצפות באימון, נכחו באזור. לאחר פרישתו מצה"ל ולפני תחילת הקריירה הפוליטית, התפרסם ב"ידיעות אחרונות" תחקיר בו נטען כי ברק נטש את המקום לפני הגשת עזרה לפצועים. הפרשה העיבה על כניסתו לחיים הפוליטיים, וברק נלחם על שמו הטוב בראיון סוער עם ניסים משעל בו העיד על עצמו כי ראה לאויביו את "הלבן של העיניים". יריביו הפוליטיים ניסו להדביק לו את ההאשמה בהפקרת פצועים וצחי הנגבי כינה אותו בנאום בכנסת "אהוד ברח". ב?15 במרץ 1999 פורסם דו"ח מבקר המדינה, אליעזר גולדברג, שקיבל את טענות ברק וניקה אותו מכל אשמה ("הרמטכ"ל נשאר במקום 45 דקות לפחות אחרי האסון").