วัดช่องลมสร้างชึ้นเมื่อราว พ.ศ. 2312 ในสมัยกรุงธนบุรี เล่ากันว่าเดิมได้ตั้งชื่อว่า วัดช้างล้ม ตามชื่อคลองสายหนึ่ง ด้วยในสมัยต้นกรุงศรีอยุธยา พระเจ้าอู่ทองได้ทรงยกพลมาตามแม่น้ำเจ้าพระยา ช้างศึกตัวหนึ่งเกิดล้ม (ตาย) ขณะกำลังว่ายข้ามน้ำบริเวณคลองสายนั้น (ปัจจุบันคลองสายนั้นมีชื่อว่า “คลองวัดช่องลม” มีสภาพตื้นเขิน แต่ยังเหลือสภาพคลองให้เห็น) เมื่อเวลาผ่านไปชื่อจึงเพี้ยนมาเป็น “วัดช่องลม” ส่วนวัดก็ทรุดโทรมลงไป เพิ่งจะฟื้นคืนกลับได้รับพระราชทานวิสุงคามสีมาเมื่อวันที่ 6 กรกฎาคม พ.ศ. 2472 โดยมีเจ้าอาวาสติดต่อกันมาคือ หลวงปู่เวิ่น หลวงปู่แจ่ม พระครูนนทโสภิตหรือหลวงพ่อเงิน (พ.ศ. 2482–2529) พระครูประโชติจันทวิมล (พ.ศ. 2530–2545) และพระครูสังฆรักษ์ รับช่วงต่อจนถึงปัจจุบัน