Nhật Bản là một trong những quốc gia lâu đời nhất trên thế giới. Con người đã sinh sống ở đây từ khoảng năm 30.000 TCN. Nước Nhật cổ hình thành từ khoảng năm 300 TCN.
Thời cổ đại, Nhật Bản là nơi cư trú của người Ainu. Người Ainu là dân tộc biệt lập và không có quan hệ nhân chủng với dân tộc nào khác. Tổ tiên của người Nhật Bản ngày nay từ Triều Tiên và Manchuria (Mãn Châu) trong đất liền đã đổ bộ lên các đảo của Nhật Bản vào thời tiền sử, buộc người Ainu phải rời lên hòn đảo Hokkaido ở tận cùng phía bắc.
Khoảng năm 300 TCN, người Yayoi bắt đầu nổi lên và sau này trở thành bộ tộc chiếm ưu thế hơn cả tại Nhật Bản. Họ du nhập đồng điếu, sắt, cũng như gạo và lúa mạch từ Triều Tiên và Trung Quốc. Họ định hình nên nền văn hóa Nhật Bản và Thần đạo (Shinto), là đạo thờ phụng các vị thần (kami) trong thiên nhiên và tổ tiên. Truyền thuyết kể rằng, Jimmu, Thiên hoàng (tenno) huyền thoại đầu tiên của Nhật Bản, chắt trai của “Nữ thần Mặt trời” Amaterasu, xuất hiện vào năm 660 TCN. Trên thực tế, nếu vị hoàng đế này quả có thực thì có lẽ phải sống vào khoảng vài trăm năm sau đó.
Khoảng năm 167 CN, một bậc nữ tu cao tuổi tên là Himiko, thuộc bộ tộc Yamato, trở thành người trị vì Nhật Bản. Bà đã dùng ảnh hưởng tôn giáo của mình để thống nhất khoảng 30 bộ tộc Nhật Bản. Bà phái sứ thần tới Trung Quốc, từ đó, văn hóa Trung Hoa và sau đó là đạo Phật ảnh hưởng đến người Nhật Bản. Quyền lực của người Yamoto mạnh lên trong suốt thế kỷ thứ ba của công nguyên. Các Nhật hoàng ngày nay có thể truy nguyên tổ tông của mình từ những người Yamato, vốn vẫn xem mình là dòng dõi của nữ thần Mặt trời. Trong thời kỳ này, cho đến tận năm 646, phần lớn Nhật Bản được thống nhất thành một quốc gia, bao gồm cả miền Nam Triều Tiên. Thần đạo bị đe dọa khi Phật giáo du nhập vào Nhật Bản vào thế kỷ VI. Khoảng năm 600, thái tử Shotoku đã cải cách nhà nước Yamato theo kiểu trung ương tập quyền của Trung Quốc và giảm quyền lực của các thủ lĩnh bộ tộc. Đền chùa, đô thị được xây dựng và văn hóa rất phát triển. Thế kỷ VIII là thời kỳ hoàng kim của Nhật Bản. Sự cạnh tranh giữa đạo Phật và Thần đạo cũng được giải quyết bằng việc sáp nhập hai đạo này thành một nền văn hóa tôn giáo chung của Nhật Bản.
Thần đạo là tín ngưỡng tự nhiên lâu đời tại Nhật Bản. Những câu chuyện thần thoại về Thần đạo được ghi lại vào thế kỷ VIII trong hai cuốn sách Kojiki (Cổ sự ký) và Nihongi (Nhật Bản thư kỷ). Những người theo Thần đạo tin vào sức mạnh của năng lượng tự nhiên và thần linh. Các tu sĩ Thần đạo cố gắng làm hài lòng các vị thần để được giúp đỡ và bảo vệ. Theo Thần đạo, một quả trứng khổng lồ được hình thành vào thời hỗn mang đã sản sinh ra mọi sự sống. Quả trứng này phân tách và trở thành nhiều vị thần (kami) và cuộc hôn phối của hai vị thần đã sinh ra Trái đất, mà Nhật Bản là quê hương của họ. Nữ thần Mặt trời cũng sinh ra từ cuộc hôn phối này và Nhật hoàng được coi là hậu duệ của nữ thần. Thần đạo tiếp thu nhiều ảnh hưởng từ đạo Phật, cả hai tôn giáo này cùng tồn tại trong suốt chiều dài lịch sử Nhật Bản, mặc dù cũng có những giai đoạn đối địch nhau.
Vào khoảng năm 710, Nhật Bản chính thức đóng đô ở Nara. Nhật hoàng ngày càng trở thành một nhân vật mang tính nghi thức, làm đại diện của các vị thần. Chính quyền do quan lại và giới tu sĩ kiểm soát và cạnh tranh chính trị trở nên gay gắt hơn. Vào năm 794, Nhật hoàng dời đô về Heian (Bình An, nay là Kyoto), nơi bắt đầu một giai đoạn lịch sử mới của Nhật Bản. Từ một vùng đất của các bộ tộc, Nhật Bản đã phát triển thành một quốc gia vững mạnh. Tuy vậy, người ta biết rất ít về cuộc sống của dân thường thời kỳ này vì chỉ có các tài liệu nói về hoàng gia và đền chùa.
300 TCN Khởi đầu nền văn hóa Yayoi
239 CN Nữ hoàng Himiko phái một sứ thần tới Trung Quốc
300 Thời kỳ Yamato - nghề nông, nghề làm đồ sắt và đô thị phát triển
366 Người Nhật Bản xâm lược miền Nam Triều Tiên (đến năm 562)
552 Đạo Phật du nhập hoàn toàn vào Nhật Bản
593-622 Thái tử Shotoku (Thánh Đức) thành lập một nhà nước tập quyền theo kiểu Trung Hoa
646 Thời kỳ Yamato chấm dứt
710 Nara trở thành thủ đô thường trực (thời kỳ Nara)
794 Nhật hoàng Kammu dời đô về Heian (Kyoto)