Ngày 4-4-1884, Sadakichi đang ngồi chơi cờ với một người bạn già thì một đứa con của ông chạy lại báo tin, vợ ông đang đau đẻ và cần một cô đỡ. Sadakichi sai đứa con đi tìm cô đỡ và vẫn tiếp tục chơi cờ như không có gì quan trọng cả. Không phải Sadakichi là một con người chai đá, nhưng lúc đó ông đã già rồi và đứa con sắp sinh là đứa con thứ bẩy của ông, nên ông cũng không hào hứng lắm. Khi bà vợ đòi ông đặt tên cho con thì ông nói: "Năm nay ta đã 56 tuổi rồi. Thôi hãy gọi nó là Năm-Mươi-Sáu." Trong tiếng Nhật, Isoroku có nghĩa là 56, và cái tên đầu tiên của danh tướng Yamamoto là Isoroku Takano. Mãi về sau này ông mới đổi tên là Isoroku Yamamoto.
Tuy Sadakichi đón nhận đứa con trai thứ bảy một cách thờ ơ, nhưng dần dần Isoroku trở thành nguồn vui lớn của ông. Hàng ngày ông già kể cho đứa con nhỏ nghe về những chuyện võ sĩ đạo trong gia tộc ông, những trận đánh đẫm máu giữa các lãnh chúa, và dậy Isoroku viết chữ Hán. Sadakichi rất ghét người tây phương nhưng khi bà Newall, một nhà truyền giáo Mỹ, tới dạy học trong vùng thì ông lại cho các con ông học với bà Newall. Chính bà Newall đã giới thiệu đạo Thiên Chúa cho Isoroku và sau này ông có thói quen đọc Thánh Kinh.
Gia cảnh một giáo viên rất là nghèo túng. Cái gia đình đông đúc chín người đó sống chen chúc trong một căn nhà gỗ nhỏ bé. Về mùa đông lạnh cắt da thịt, Isoroku chỉ được mặc một chiếc áo kimono bằng vải sợi do mẹ may. Nhà nghèo không có tiền mua sách nên Isoroku phải đi mượn sách về và chép lại để học. Khi lên trung học, Isoroku rất yêu chuộng thể thao, nhất là môn dã cầu, bơi lội và chạy. Trong một lần đi câu một mình, thuyền của Isoroku bị lật vì biển động. Cậu bé phải bơi vào một hang động ngoài khơi, và nằm chờ hai ngày sau biển lặng rồi mới bơi trở vào bờ.
Là một thiếu niên cường tráng, yêu thể thao, thấm nhuần tinh thần võ sĩ đạo và yêu thích biển cả, nên năm 15 tuổi Isoroku quyết định ghi tên vào trường sĩ quan hải quân Etajima. Isoroku đã chọn ngành hải quân đúng lúc Minh Trị Thiên Hoàng đang quyết tâm phát triển hải quân Nhật, theo khuôn mẫu của hải quân tây phương.