ในปี พ.ศ. 2519  คณะรัฐมนตรีได้มีมติให้ส่วนราชการจัดตั้งหน่วยงานตรวจสอบภายในขึ้นกรุงเทพมหานครจึงได้จัดตั้งงานตรวจสอบบัญชีและการเงินขึ้นโดยเป็นหน่วยงานในสังกัดกองบัญชีและตรวจสอบ สำนักการคลัง  ต่อมาในปี พ.ศ. 2528  ได้มีการโอนงานตรวจสอบบัญชีและการเงิน ไปขึ้นกับสำนักปลัดกรุงเทพมหานครและเปลี่ยนชื่อเป็นงานตรวจสอบภายใน  มีอัตรากำลัง ณ วันที่โอนจำนวน 16 อัตรา ซึ่งขณะนั้นมีหน่วยรับตรวจจำนวน  15  สำนัก  24  สำนักงานเขต ( ประกาศกรุงเทพมหานคร เรื่องจัดระเบียบราชการของกรุงเทพมหานคร  ลงวันที่  31  ตุลาคม  2528 ) 

          หลังจากนั้นเมื่อวันที่  20  เมษายน  2532  โดยมติ ก.ก. อนุมัติให้ปรับปรุงโครงสร้างการแบ่งส่วนราชการและกรอบอัตรากำลัง 3 ปี ของสำนักปลัดกรุงเทพมหานครใหม่ งานตรวจสอบภายในจึงยกฐานะขึ้นเป็น “ กองตรวจสอบภายใน” มีอัตรากำลังประกอบด้วยข้าราชการและลูกจ้างจำนวนทั้งสิ้น 71 อัตรา (เป็นข้าราชการเฉพาะสายงานตรวจสอบจำนวน  50  อัตรา) แบ่งเป็นกลุ่มงานตรวจสอบภายใน 1 - 3 โดยมีหน้าที่รับผิดชอบเกี่ยวกับการตรวจสอบบัญชีการเงิน การรับจ่ายเงิน การเก็บรักษาเงิน การพัสดุ การก่อหนี้ผูกพันงบประมาณรายจ่าย เงินยืมและเงินทดรองราชการ ตรวจสอบหลักฐานการจ่ายเงินของกรุงเทพมหานคร  (ฎีกาหลังจ่าย )ตรวจสอบงบเงินรายรับรายจ่ายประจำปี ตรวจสอบการปฏิบัติเกี่ยวกับการชี้แจงข้อทักท้วง  หรือข้อสังเกตของสำนักงานการตรวจเงินแผ่นดินและของกองตรวจสอบภายใน ติดตามผลการตรวจสอบการบริหารงบประมาณของส่วนราชการ( เงินอุดหนุนรัฐบาล )ตามมติคณะรัฐมนตรี ตรวจสอบการใช้น้ำมันเชื้อเพลิงและน้ำมันหล่อลื่นของทางราชการตามมติคณะรัฐมนตรีและการตรวจสอบอื่นใดตามที่ปลัดกรุงเทพมหานครมอบหมายตามหลักเกณฑ์และวิธีการที่ปลัดกรุงเทพมหานครกำหนด 

          ต่อมากองตรวจสอบภายในมีคำสั่งที่ 14 / 2548  สั่ง ณ วันที่ 4 ตุลาคม 2548 เรื่อง การจัดแบ่งกลุ่มงานและอัตรากำลังสำนักงานตรวจสอบภายในได้แบ่งหน้าที่ความรับผิดชอบเป็นกลุ่มวิชาการและแผนงาน  กลุ่มงานบริหารงานทั่วไป  และกลุ่มตรวจสอบตามภารกิจ 5 กลุ่ม ซึ่งประกอบด้วยกลุ่มตรวจสอบการบริหารและการคลัง กลุ่มตรวจสอบการศึกษาและสังคม กลุ่มตรวจสอบการสาธารณูปโภคและป้องกันภัย กลุ่มตรวจสอบการสาธารณสุขและสิ่งแวดล้อม กลุ่มตรวจสอบสำนักงานเขต เป็นการแบ่งความรับผิดชอบหน่วยรับตรวจให้ชัดเจนเป็นส่วนตรวจสอบสำนักและส่วนตรวจสอบสำนักงานเขต โดยมุ่งหวังให้การจัดการข้อมูลในภาพรวมมีประสิทธิภาพ เกิดความชัดเจนและใช้เวลาในการดำเนินงานน้อยลง 
          นอกจากเหตุผลที่กล่าวข้างต้นแล้ว ยังมีเหตุผลที่สำคัญอีกประการหนึ่งในการปรับเปลี่ยนการตรวจสอบ คือวัตถุประสงค์ของการตรวจสอบภายในได้เปลี่ยนแปลงไปจากเดิมที่เป็นการตรวจสอบทางการเงิน (Financial Audit) ที่มุ่งเน้นความถูกต้องของตัวเลขมาเป็นการตรวจสอบภายในแนวใหม่ที่มีคำจำกัดความของการตรวจสอบภายในว่า “ การตรวจสอบภายในคือการให้ความเชื่อมั่นและการให้คำปรึกษาอย่างเที่ยงธรรมและเป็นอิสระ เพื่อเพิ่มคุณค่าและปรับปรุงการดำเนินงานขององค์กร การตรวจสอบภายในช่วยให้องค์กรบรรลุเป้าหมายด้วยการประเมินและปรับปรุงประสิทธิผลของกระบวนการบริหารความเสี่ยง การควบคุมและการกำกับดูแล อย่างเป็นระบบและเป็นระเบียบ”  ซึ่งการปรับปรุงการตรวจสอบจำเป็นให้เพิ่มกลุ่มวิชาการและแผนงาน มาเพื่อทำหน้าที่ด้านการให้คำปรึกษาแก่หน่วยรับตรวจและพัฒนาวิธีการและระบบการตรวจสอบภายในให้ทันกับเทคโนโลยีที่เปลี่ยนแปลงไป

          จากเหตุผลดังกล่าวกองตรวจสอบภายในจึงได้ขออนุมัติปรับปรุงโครงสร้างและบทบาทของหน่วยงาน เพื่อให้ทันต่อสภาวะแวดล้อมที่เปลี่ยนแปลงไป โดยมุ่งหวังให้การปฏิบัติงานตรวจสอบภายในเกิดประสิทธิภาพประสิทธิผลและเกิดความคุ้มค่า ซึ่งจะส่งเสริมให้กรุงเทพมหานครมีระบบการตรวจสอบภายในที่เข้มแข็ง การปฏิบัติงานโปร่งใสสามารถตรวจสอบได้ สอดคล้องกับแนวทางการบริหารจัดการบ้านเมืองที่ดี และทำให้เกิดการพัฒนายิ่งขึ้นต่อไป

          ปัจจุบันตามมติ ก.ก. ครั้งที่ 5/2551 เมื่อวันที่ 16 มิถุนายน พ.ศ.2551 อนุมัติให้ปรับปรุงโครงสร้างและกรอบอัตรากำลังของกองตรวจสอบภายใน สำนักปลัดกรุงเทพมหานคร เป็นสำนักงานตรวจสอบภายในสำนักปลัดกรุงเทพมหานคร และประกาศกรุงเทพมหานคร เรื่อง การแบ่งส่วนราชการภายในหน่วยงานและการกำหนดอำนาจหน้าที่ของส่วนราชการกรุงเทพมหานคร (ฉบับที่ 67) ลงวันที่ 11 สิงหาคม พ.ศ.2551  ได้ยกฐานะกองตรวจสอบภายในเป็นส่วนราชการที่มีฐานะสูงกว่ากอง  กำหนดชื่อส่วนราชการเป็นสำนักงานตรวจสอบภายใน  มีผลตั้งแต่วันที่ 15 กันยายน พ.ศ.2551 เป็นต้นไป

          จากการปรับปรุงโครงสร้างมาเป็นสำนักงานตรวจสอบภายในได้มีการจัดแบ่งกลุ่มงาน   และอัตรากำลังสำนักงานตรวจสอบภายใน ตามคำสั่งสำนักงานตรวจสอบภายในที่ 20/2551 สั่ง ณ วันที่ 16 กันยายน  2551 โดยการแบ่งตามภารกิจออกเป็น ฝ่ายบริหารงานทั่วไป กลุ่มพัฒนางานตรวจสอบภายใน  ส่วนตรวจสอบภายใน 1 ประกอบด้วยกลุ่มตรวจสอบการบริหารและการคลัง กลุ่มตรวจสอบการสาธารณสุขและสิ่งแวดล้อม และกลุ่มตรวจสอบการสาธารณูปโภคและป้องกันภัย และส่วนตรวจสอบภายใน 2 ประกอบด้วยกลุ่มตรวจสอบการศึกษาและสังคม กลุ่มตรวจสอบสำนักงานเขต