Rommel không nằm ngoài diện bị nghi ngờ dính dáng vụ mưu sát. Một sĩ quan bị bắt khai rằng Thống chế từng trấn an ông ta: 'Hãy nói với những người ở Berlin rằng họ có thể trông cậy nơi tôi'. Câu nói này đã khiến Hitler bị ám ảnh và quyết định giết chết Rommel.
Hai vị tướng thân cận của Hitler báo trước cho Rommel rằng, Quốc trưởng phái họ đến để thảo luận 'công tác sắp tới' của Thống chế. Trưa ngày 14/10/1944, họ đến nhà của Rommel để thực hiện nhiệm vụ, yêu cầu nói chuyện riêng với ông rồi cả ba người đi vào phòng đọc sách.
Sau cuộc nói chuyện đó, Rommel tạm biệt vợ con để chuẩn bị chấp hành mệnh lệnh của Hitler.
Manfred Rommel, con trai của Rommel, sau này kể lại: 'Khi tôi và cha cùng vào phòng tôi, ông từ tốn nói: 'Cha vừa nói chuyện với mẹ con rằng ngay sau đây cha sẽ chết... Hitler đang kết tội cha là phản quốc. Vì công trạng của cha ở châu Phi, cha sẽ có cơ hội chết bằng thuốc độc'.
'Hai viên tướng đã mang thuốc độc đến. Nếu cha chấp nhận, gia đình ta sẽ không phải chịu các biện pháp thường thấy... Trong vòng 15 phút nữa, con sẽ được bệnh viện ở Ulm báo cho biết cha bị tai biến mạch máu não trên đường đi dự họp''.
Những gì diễn ra sau đó đúng như vậy. Sau khi từ biệt vợ con, Rommel cùng hai viên tướng lên xe, chạy theo một con đường ven rừng. Được khoảng 3km, xe dừng lại và một viên tướng cùng tài xế bước ra. Một phút sau, hai người quay lại xe thì Rommeld đã chết.
Rommel cùng vợ, Lucie, và con trai Manfred
Khoảng 15 phút sau, vợ của Rommel nhận được một cuộc gọi từ bệnh viện thông báo chồng bà qua đời vì nghẽn mạch máu não do vết thương trên đầu từ trước đó gây ra.
Sau này, một bia tưởng niệm đã được dựng lên ở nơi chiếc xe dừng lại để Rommel uống thuốc độc. Trên bia có dòng chữ: 'Tại đây, Thống chế Erwin Rommel bị ép phải tự tử vào ngày 14/10/1944. Ông nhận một cốc thuốc độc và tự hy sinh, nhằm cứu gia đình thoát khỏi bàn tay của Hitler'.