ตามประวัติเดิม วัดเทียนถวายได้สร้างขึ้นเมื่อประมาณ พ.ศ. 1880 โดยมีพระเจ้าอู่ทองในฐานะเป็นเจ้าเมืองขณะนั้นทรงสั่งให้สร้างขึ้นในคราวที่ได้อพยพหนีโรคระบาดมาตั้งกองเกวียนพักอาศัยกลางคืนจุดไฟสว่างไสว พักอยู่ประมาณ 1 เดือนเศษ ก่อนที่จะอพยยกลับเมืองได้สร้างวัดขึ้นแล้วขนานนามว่า "วัดเกวียนไสว" โบราณวัตถุที่นำมาบางอย่างยังมีอยู่ที่วัด ต่อมานามวัดได้เพี้ยนเป็น "วัดเทียนถวาย" ชาวบ้นเรียกอีกนามหนึ่งว่า "วัดเหล้าจืด" หมายถึงคนเมาสุรามาถึงวัดนี้ก็หายเมาเสมือนกับว่าเหล้าจืด เพราะเกรงกลัวเจ้าอาวาสในสมัยก่อนนี้คือ พระธรรมานุสารี (สว่าง ธมฺม โชโต) วัดเทียนถวายถือได้ว่า ได้รับพระราชทานวิสุงคามสีมาแต่เดิมประมาณ พ.ศ. 1885 เขตวิสุงคามสีมา กว้าง 19.80 เมตร ยาว 29 เมตร พระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 ได้เคยเสด็จทางชลมารคพร้อมด้วย ข้าราชบริพารเมื่อวันที่ 28 กรกฎาคม ร.ศ. 125 (พ.ศ. 2449) ได้ พระราชทานพระราชทรัพย์ 20 บาท พร้อมกับโปรดให้ถ่ายพระบรมฉายาลักษณ์ร่วมกับพระธรรมานุสารีเจ้าอาวาสขณะนั้นด้วย