ตำบลตะปอน มี 6 หมู่บ้าน อันประกอบด้วย

1.บ้านป่าคั่น

2.บ้านหนองเสม็ด

3.บ้านชากไพร

4.บ้านไร่วรรณ

5.บ้านตะปอนน้อย

6.บ้านตะปอนใหญ่

     สำหรับตำนานของหมู่บ้านต่างๆ ที่เอ่ยมานั้นเป็นไปตามลักษณะภูมิศาสตร์พื้นที่หรือบางบ้านก็เป็นเหมือนนิทานที่เล่าต่อๆ มา เช่น ที่บ้านป่าคั้นจะอยู่ติดต่อกับตำบลพลิ้ว เป็นเนินขั้นกลางระหว่างทุ่งนากับหนองสนม-หนองเสม็ด เป็นป่าไม้เบญพรรณ มีไม้พยอม ไม้ประจำปี ขึ้นปกคลุมไปทั่ว ส่วนบ้านหนองเสม็ดเป็นทุ่งนาและที่ลุ่ม เป็นหนองน้ำมีต้นเสม็ดขาว เสม็ดแดง ขึ้นอยู่มากมาย พอถึงฤดูฝนชาวบ้าน  ก็จะออกไปหาเห็ดเสม็ด หาปลา ในย่านนั้นที่มีอยู่อีกหลายหนอง และเป็นที่น่าสังเกต ว่าผ่านป่าคั่นขึ้นมาก็จะเจอหนองสนม เมื่อก่อนเขาเล่าว่าน้ำลึกใส น่าลงอาบเล่น ชื่อหนองสนม น่าจะเป็นที่มาของชื่อเมื่อครั้ง ร.5 และพระนางเจ้าสุนันทา เสด็จประพาส น้ำตกพลิ้ว ขึ้นเรือที่คลองยายดำ ผ่านทุ่งนาสู่เนินป่าคั่นตรงเจดีย์ทราย ผ่านหนองสนม ก่อนที่จะถึงน้ำตกพลิ้ว เหล่านางสนม กำนัลในวัง จะพักลงเล่นน้ำกันที่หนองนี้ ส่วนบ้านหนองเสม็ดเป็นป่าเสม็ดดังที่กล่าวมาแล้วนั้น ปัจจุบัน เป็นที่ตั้งของวัด โรงเรียน เป็นศูนย์กลางของชุมชน และบ้านชากไพรจะอยู่ระหว่างบ้านหนองเสม็ดกับอุทยานแห่งชาติเขาสระบาป มีป่าชาก มีต้นไพร ขึ้นเองตามธรรมชาติ ชุกชุมมาก เป็นแหล่งหาเครื่องเผาสมุนไรฃพรของหมอพื้นบ้านนอกจากต้นไพรแล้ว ยังมีต้นสลอด สำหรับเป็นยาระบายมากเช่นกัน 

     ส่วนบ้านไร่วรรณ ก็อยู่ติดเขาสระบาปทางด้านตะวันออกของบ้านชากไพร เป็นบ้านที่เมื่อก่อนนี้ไม่มีผู้คนขึ้นไปอยู่อาศัย เพราะผู้คนส่วนใหญ่อยู่ตามชายคลองและชายทุ่ง มีคนขึ้นไปอยู่สามบ้านแรกคือบ้านตาแสด ตาเสือ ยายลอย ฉะนั้น เวลาชาวบ้านขึ้นมาทำสวนหรือทำไร่ เมื่อก่อนนิยมทำไร่พริไทยกันจะต้องรีบกลับตั้งแต่วันเพราะถ้ากลับมืดค่ำหรือเย็นไปสักหน่อย ก็อาจเป็นอัตรายได้ เพราะในบริเวณนี้มีงูเงี้ยวพขี้ยวเสือ ที่จะถูกกัด-กิน ฉะนั้นเวลาได้ยินเสียงนกกะรางร้องขึ้น สองครั้ง ก็ให้รีบกลับ ถ้าร้องสามครั้งก็แสดงว่าจะมืดแล้ว จึงต้องรีบเร่งกลับบ้านเร็ว ๆ เสียงนกกะรางร้องเร่ง และผู้เฒ่าผู้แก่สั่งให้กับก่อนมืด จึงเป็นที่มาของบ้านไร่วรรณ

     ส่วนบ้านตะปอนน้อย และบ้านตะปอนใหญ่ เป็นหมู่บ้านที่มีเส้นทางสายขลุง พลิ้วผ่าน เป็นเส้นทางเก่าแก่ตั้งแต่ครั้งกรุงศรีอยุธยา เป็นเส้นทางสัญจร เป็นลุ่มเมืองจันทบูร กับบ้านมรคาเมืองขลุงบุรี  มีขบวนเกวียนพ่อค้าจะไปยังเมืองขลุง ขับผ่านเส้นทางนี้ เส้นทางส่วนใหญ่ ทรายจะควั้น หรือคนทั่วไปเรียกว่าทรายพุ พอขบวนเกวียนพ้นออกจากพลิ้วก็จะเจอ ตะกาดใหญ่ ทรายควั้นมาก เกวียนก็เริ่มตะโพงและเริ่มตะโพงเร็วขึ้นๆ จากตะโพงน้อย ๆ ผ่านวัดอินทาราม จนวิ่งตะโพงกันใหญ่ผ่านวัดโพธาราม  ท้ายของหมู่บ้าน จะมีทรายควั้นมาก ผู้คนทั้วไปเรียกหลุมทราย ขบวนเกวียนที่วิ่งตะโพงกันมาจากป่าคั่น  ผ่านมาหลายหมู่บ้าน จนถึงวัดช่องลม เกวียนก็หักลงตรงนั้น และที่เกวียนหักลงตรงนั้น ปัจจุบัน คือบ้านเกวียนหัก ที่เกวียนวิ่งผ่านหลุมทรายควั้น จนเกวียนชำรุด ปัจจุบันคือบ้านคานรูด เกวียนวิ่งตะโพงใหญ่  ผ่านวัดโพธาราม ปัจจุบันเพี้ยนคำว่าตะโพงใหญ่เป็นตะปอนใหญ่ และเกวียนวิ่งตะโพงน้อย ๆ  ผ่านวัดอินทาราม  ปัจจุบันเพี้ยนคำว่าตะโพงน้อย ๆ เป็นตะปอนน้อย