Thành ngữ sơn cùng thủy tận được tạo thành nhờ các từ Hán Việt: sơn (núi), thủy (nước), cùng, tận (cuối hết). Trước tiên, thành ngữ sơn cùng thủy tận chỉ những nơi, những địa điểm xa xôi hẻo lánh.
Xa xôi là vậy, mà một ai đó cũng đã đặt chân đến, ắt hẳn đã từng đi ba chốn bốn nơi, qua bao bản làng, qua bao vùng đất quen lạ khác nhau. Thành ngữ sơn cùng thủy tận phản ánh diện rộng khắp của việc đi lại. Với ý nghĩa này, sơn cùng thủy tận trở nên gần gũi với cùng trời cuối đất.
Nơi sơn cùng thủy tận cũng là nơi cuối cùng. Cái cuối cùng của con đường, của kế sinh nhai đồng nhất với sự bế tắc, không lối thoát và tuyệt vọng. Đó là khi hoàn cảnh, cuộc sống dồn con người đến chân tường, vào ngõ hẻm, không còn con đường nào khác ngoài con đường duy nhất, con đường cuối cùng.
Trong vận dụng ngôn ngữ, nhiều khi thành ngữ sơn cùng thủy tận được tách ra thành nhiều dạng thức khác nhau một cách linh hoạt nhằm nhấn mạnh ý nghĩa cần diễn đạt: Thủy đã cùng, sơn đã tận; sơn chẳng cùng mà thủy cũng chẳng tận…