อุทยาน แห่งชาติภูผาเหล็กมีมีเนื้อที่ประมาณ 261,875 ไร่ หรือประมาณ 419 ตารางกิโลเมตร ครอบคลุมพื้นที่อำเภอส่องดาว อำเภอวาริชภูมิ อำเภอนิคมน้ำอูน อำเภอกุดบาก จังหวัดสกลนคร อำเภอวังสามหมอ จังหวัดอุดรธานี และอำเภอสมเด็จ อำเภอคำม่วง จังหวัดกาฬสินธุ์ ในพื้นที่ป่าสงวนแห่งชาติป่าดงพันนา ป่าดงพระเจ้า ป่าภูวง ป่ากุดไห ป่านาใน ป่าโนนอุดม ป่าบะยาว ป่าหัวนาคำ ป่าหนองหญ้าไชย และป่าแก้งกะอาม
ในปี 2538 กรมป่าไม้ได้มีคำสั่งให้เจ้าหน้าที่ออกมาสำรวจข้อมูลเบื้องต้นในพื้นที่ ซึ่งต่อมาได้มีคำสั่งกรมป่าไม้ที่ 1162/2539 ลงวันที่ 14 มิถุนายน 2539 เรื่องให้ข้าราชการไปปฏิบัติราชการได้ให้นายพนม พงษ์สุวรรณ นักวิชาการป่าไม้ 7 ว. ส่วนอุทยานแห่งชาติ ไปดำเนินการสำรวจหาข้อมูลเพิ่มเติมและจัดตั้งพื้นที่ป่าอนุรักษ์บางส่วนของ พื้นที่ป่าสงวนแห่งชาติ ป่าดงพันนา ป่าดงพระเจ้า ท้องที่อำเภอส่องดาว ป่าภูวง ท้องที่อำเภอวาริชภูมิ อำเภอนิคมน้ำอูน อำเภอกุดบาก ป่าแก่งแคน ท้องที่อำเภอกุดบาก ป่าหนองหญ้าไซ ท้องที่อำเภอวังสามหมอ จังหวัดอุดธานี ผนวกป่าสงวนแห่งชาติ ป่าภูพาน ท้องที่อำเภอคำม่วง อำเภอสมเด็จ ป่าแก้งกะอาม ท้องที่อำเภอสมเด็จ จังหวัดกาฬสินธุ์ ให้เป็นอุทยานแห่งชาติ ตามพระราชบัญญัติอุทยานแห่งชาติ พ.ศ. 2504 นั้น
นายพนม พงษ์สุวรรณ ไปสำรวจหาข้อมูลและประวัติดั้งเดิมในพื้นที่ป่าสงวนแห่งชาติ ดังกล่าวข้างต้นพร้อมกับหาข้อมูลเพิ่มเติมจากส่วนราชการที่เกี่ยวข้อง ศูนย์คอมพิวเตอร์มหาวิทยาลัยขอนแก่น พบว่า พื้นที่แห่งนี้เป็นพื้นที่ป่ารักน้ำ เป็นแห่งแรกของประเทศไทย อันเป็นโครงการพระราชดำริของสมเด็จพระนางเจ้าฯพระบรม ราชินีนาถ เมื่อวันที่ 20 ธันวาคม 2525 ต่อมาเมื่อปี พ.ศ. 2537 นายผ่อง เล่งอี้ อธิบดีกรมป่าไม้ ได้มาตรวจราชการและเห็นความสำคัญของพื้นที่ดังกล่าว จึงมีบัญชาให้สำรวจเป็นอุทยานแห่งชาติ โดยใช้ชื่อว่า อุทยานแห่งชาติภูผาเหล็ก-ภูผาหัก ต่อมาในปีพ.ศ. 2539 ได้อนุมัติให้ตัดคำว่า ภูผาหัก ออกใช้ชื่อว่า “อุทยานแห่งชาติภูผาเหล็ก” เป็นต้นมา