בשנת 2001 מינה אותו הנשיא ג'ורג' ווקר בוש למזכיר ההגנה בממשלו. רמספלד שימש בתפקיד במהלך פיגועי 11 בספטמבר ובהמשך לכך במהלך מלחמת אפגניסטן.[5] רמספלד נחשב לאחד מהוגיה, מעצביה ומוביליה של מלחמת עיראק.[6] כמזכיר ההגנה בכהונתו השנייה יזם רמספלד והוביל שורה של רפורמות בכוחות המזוינים של ארצות הברית במטרה להתאים אותם לעימותים המודרניים. בין היתר פיטר את מפקד צבא היבשה והחליפו בפיטר סקומייקר, שחזר לשם כך מפרישה לשירות פעיל, ערך שינוי באופן הרכש וההצטיידות, המשיך את התהליך של צמצום והקטנת הכוחות המזוינים. בשתי המערכות, באפגניסטן ובעיראק, דרש רמספלד כי המערכה תחל מהר ככל האפשר ומבלי להמתין עד לצבירת סדרי הכוחות שביקשו מפקדי הצבא, שנראו מוגזמים בעיניו.[7]
רמספלד התנגד באופן תקיף לשחרורו או חנינתו של המרגל ג'ונתן פולארד. בשנת 1998, כתגובה לדיווחים בתקשורת על כך שהנשיא קלינטון שוקל לתת חנינה לפולארד, ראמספלד שיגר מכתב לנשיא וביקש ממנו שלא להעניק את החנינה. במכתב נטען ששחרורו של פולארד עומד בניגוד לאינטרסים של ארצות הברית והוא חתום על ידי שבעה מזכירי הגנה לשעבר כולל רמספלד עצמו. בסופו של דבר, קלינטון החליט שלא להעניק חנינה לפולארד.
גם לאחר קביעת מועד שחרורו של פולארד בנובמבר 2015, דבק ראמספלד בהתנגדותו לשחרור, וטען כי מדובר ב"רעיון גרוע".[9]
לפני מלחמת עיראק ובמהלכה טען רמספלד כי לעיראק יש תוכנית נשק פעילה להשמדה המונית - מאגרים שמעולם לא נמצאו, ולמעשה גם לא הייתה להם עדות של ממש בדו"חות המודיעין עת הכריז על כך. פקידי ממשל בוש טענו גם כי התקיימו יחסים מבצעיים בין אל-קאעידה לסדאם חוסין. דו"ח המפקח הכללי של הפנטגון מצא כי עוזרו המדיני של רמספלד, דגלאס פיית, "פיתח, הפיק ואז הפיץ הערכות מודיעיניות חלופיות בנוגע ליחסי עיראק ואל-קאעידה, שכללו כמה מסקנות שאינן עולות בקנה אחד עם הקונצנזוס של קהילת המודיעין, למקבלי ההחלטות הבכירים".
בשנת 2006 הוטחה ברמספלד ביקורת קשה עקב המצב הקשה במלחמה בעיראק. רמספלד נחשב, מבין ראשי הממשל, מהתומכים העיקריים ביציאה למלחמה. עיקר הטענות היו על התמקדות במלחמה ללא חשיבה מספקת על המצב שיבוא בעקבותיה ועל כך שקיצץ מתקציב מטוס הקרב ה-F-22. ביקורת הייתה גם בנושאים צבאיים ובמרכזה מכתב של שמונה גנרלים ואדמירלים לשעבר שקראו לרמספלד להתפטר. בנוסף, נמתחה ביקורת רבה על האישור שניתן על ידי רמספלד לשיטות חקירה אלטרנטיביות, שנטען[דרושה הבהרה] כי עלו כדי עינויים. ידוע, בהקשר זה, מה שזכה לכינוי "מזכר רמספלד", שעמד במוקד ספרו הביקורתי של פיליפ סאנדס, 'צוות הטרור - מזכר רמספלד והבגידה בערכים האמריקאיים'.
הנשיא בוש הביע בו תמיכה. גם בתקופה שלפני הבחירות לבית הנבחרים האמריקני בשנת 2006, טען הנשיא בוש במספר הזדמנויות שרמספלד יישאר בתפקיד מזכיר ההגנה כל עוד הוא משמש כנשיא. אולם לאחר הבחירות בהן איבדו הרפובליקנים את השליטה בבית לטובת הדמוקרטים לאחר 12 שנים, בוש הודיע שרמספלד יתפטר מתפקידו כמזכיר ההגנה. רפובליקנים רבים ראו את ההודעה על ההתפטרות כמאוחרת מדי, שכן היו סבורים שהיו זוכים בקולות רבים יותר לו המצביעים ידעו על ההתפטרות.
בוש מינה לתפקיד מזכיר ההגנה את ד"ר רוברט גייטס. במסיבת עיתונאים בה הודיע הנשיא על התפטרותו של ראמספלד ומינויו של גייטס, הוא טען שאמריקה והעולם בטוחים יותר בשל שירותו ומנהיגותו של דונלד רמספלד.