วัดนี้สังกัดนิกายรินไซ สายเมียวชินจิ กล่าวกันว่าก่อตั้งขึ้นในสมัยอาชิคางะ

ภายในบริเวณวัดมีหลุมศพของท่านหัวหน้าชิมิซุ จิโรโจ “นักเลงแห่งถนนโทไกโด” รวมถึงลูกน้องคนสนิท โอมาสะ โคมาสะ มาสุกาวะ เซ็นเอมง และโอโจ ภรรยาที่เขารักตลอดชีวิต

ป้าย “สุสานของจิโรโจ นักเลงผู้ถือคุณธรรม” เป็นลายมือของเอโนโมโตะ ทาเคอากิ อดีตข้ารับใช้ของรัฐบาลโชกุนซึ่งต่อมาดำรงตำแหน่งรัฐมนตรีกระทรวงการสื่อสาร (เทชิน)ในรัฐบาลเมจิ

จิโรโจยังเป็นนักเลงเพียงคนเดียวในญี่ปุ่นที่ได้รับการยกย่องผลงานในชีวิตจนมีการตั้งรูปปั้นทองสัมฤทธิ์ รูปปั้นองค์แรกถูกนำไปหลอมใช้ในสงครามแปซิฟิก ส่วนองค์ปัจจุบันสร้างโดยสึสึมิ ทัตสึโอะ ในปี 1952

กำแพงหินด้านหลังรูปปั้นแทนปราสาทซุมปุ และสระน้ำด้านหน้าแทนอ่าวซุรุงะ สะท้อนถึงจิตวิญญาณของจิโรโจผู้ปักหลักอยู่ที่ชิมิซุ บ้านเกิดของเขา

พิพิธภัณฑ์จิโรโจจัดแสดงของที่ระลึก เช่น ลูกแก้วคริสตัลที่คุโรโกมะ คัตสึโซ มอบให้ ดาบสั้นพกพาเดินทางบิชามนเท็นซึ่งใช้เป็นเครื่องราง นาฬิกา กล้องส่องทางไกล และปืนคาบศิลา

วัดนี้สร้างขึ้นในปีเมโอที่ 1 (1492 สมัยอาชิคางะ) โดยพระอาจารย์เท็นริน โดเมียว ศิษย์ของพระอาจารย์โทโคกุ เป็นผู้ก่อตั้ง

เดิมวัดมีชื่อว่า “ไบอินอัน” ในยุคเอโรกุได้เป็นที่ดินที่ได้รับตราประทับแดงจากตระกูลทาเคดะ ซึ่งเอกสารเก่ายังคงหลงเหลือมาจนถึงปัจจุบัน ต่อมาจึงเปลี่ยนชื่อเป็นวัดไบอินจิ

ในยุคเคโช วัดประสบอัคคีภัย วิหารต่าง ๆ และสมบัติของวัดถูกไฟไหม้ ต่อมาได้บูรณะขึ้นใหม่ แต่อาคารทั้งหมดก็พังทลายลงจากแผ่นดินไหวใหญ่ยุคอันเซ
ในปีเมจิที่ 36 (1903) สมัยพระอาจารย์มังคิว (เจ้าอาวาสรุ่นที่ 14) ได้สร้างวิหารหลักหลังปัจจุบันขึ้นใหม่ (จากเอกสารสำหรับผู้มาสักการะทั่วไป)