ในสมัยก่อนหมู่บ้านท่าหินไม่ได้ชื่อหมู่บ้านท่าหิน แต่ชื่อหมู่บ้านท่าศิลาลอย  ดังมีตำนานเล่าต่อกันมาดังนี้  คือเมื่อก่อนท่าหินมีลำคลองออกสู่ทะเล ที่ปากคลอง มีต้นโพธิ์อยู่ต้นหนึ่งและมีหินอยู่ใต้ต้นโพธิ์ใครไปใครมาก็ต้องเห็น ต้นโพธิ์นั้น เมื่อกลับมาจากหาปลาก็มาผูกเรือกับต้นโพธิ์ อยู่ต่อมาหินก้อนที่อยู่ใต้ต้นโพธิ์ก็ได้ลอยหายไป และไปลอยน้ำอยู่ที่ท่าหินจอด ถ้ามีคนเข้าไปดูหินก็จะจมลงแต่ถ้าดูไกลๆ หินก็จะลอยขึ้นมาแต่ในปัจจุบันหินก้อนนั้นก็ได้หายไป

            อาณาเขตติดต่อของ บ้านท่าหินใต้ หมู่ที่ 4 มีดังต่อไปนี้

            ทิศเหนือ             จรด หมู่ที่ 5 ตำบลท่าหิน

            ทิศใต้                จรด หมู่ที่ 2 บ้านห้วยลาด

            ทิศตะวันออก       จรด หมู่ที่ 3 บ้านทองลัง

            ทิศตะวันตก         จรด ทะเลสาบสงขลา