Đạo chi tương hành dã dư.
- Đạo của ta nếu gặp lúc được thi hành.
Lấy chữ Luận ngữ, ông chép đầu bài vô ý bỏ mất chữ Dã. Như thế là phạm trường quy, dẫu văn hay đến đâu cũng phải ra bảng con, tức là hỏng.
Khoa này hỏng, ông trở về cố gắng học thêm. Đến khoa Đinh Dậu ( 1897 ) lại hỏng nữa. Cách ba năm sau, khoa Canh Tý ( 1900 ) đỗ cử nhân á nguyên. Khi ban yến, quan trường gọi Lê đến hỏi:
- Anh Vũ Tuân đỗ thủ khoa, anh có phục không?
Ông thưa:
- Tôi lên đến Nam Định, mới biết khoa này có anh Vũ Tuân cùng thi, tài của anh còn hơn tôi gấp bội, âu cũng là cái số phận về khoa danh như thế.
Vũ Tuân và Lê Sĩ Nghị là hai người có chân tài, có thực học khét tiếng trong sĩ lâm. Song vì khoa ấy họ Vũ đỗ nhất, Lê đỗ nhì, mà người thứ ba lại là Lê Tuyên, một tay học xoàng. Nên Tú Xương có bài thơ:
Hai đứa tranh nhau cái thủ khoa.
Tuân khoe văn hoạt, Nghị văn già.
Khoa này đỗ rặt phường hay chữ.
Kìa chú Lê Tuyên đứng thứ ba.
Tú Xương buồn vì kỳ này lại trượt nữa nên chữa thẹn bằng cách diễu hai ông thủ khoa, á khoa: tài các ông tiếng vậy cũng chẳng bao nhiêu, bất quá hơn Lê Tuyên là nhiều.
Ông Nghị được bổ về làm Huấn đạo Kim Sơn ( Ninh Bình ). Lệ ngày xưa các quan mới bổ tới nơi nào khi vào quan tỉnh, phải mặc áo tấc và lạy hai lạy. Ông vào gặp công sứ Pháp, chỉ vái thôi chứ không lạy. Cái thái độ bất khuất ấy được dân chúng ca ngợi lắm.
Hôm sau, sang yết kiến Đốc học Nguyễn thượng Hiền, ông lạy ngay hai lạy. Cụ Nguyễn ngạc nhiên hỏi:
- Sao hôm trước ông vào sứ lại không lạy?
Ông thản nhiên thưa:
- Bẩm, hôm ấy tôi quên.