Sau vì cạn lương, ông phải giải tán nghĩa quân, về ẩn náu ở chợ Gạo, Định Tường.
Năm 1863, ông bị quân Pháp bao vây, ông chạy thoát về Châu Đốc, nhưng rồi bị bắt ở đó.
Pháp dụ hàng ông không chịu nên bị đày ra Côn đảo, và sau đày đi đảo Réunion.
Khi đi đày, ông làm bài thơ cảm khái:
Muôn việc cho hay số bởi trời.
Chiếc thân hồ hải biết đâu nơi.
Mấy hồi tên đạn ra tay thử.
Ngàn dặm non sông dạo gót chơi.
Chén rượu Tân đình nào luận tiệc.
Vần thơ cố quốc, chẳng ra lời.
Cương thường bởi biết mang nên nặng.
Hễ đứng làm trai trả nợ đời.
Năm 1874, triều đình nhường sáu tỉnh miền Nam cho Pháp, Pháp tha cho ông về, nhưng giao cho Tổng đốc Đỗ hữu Phương quản thúc.
Phương vốn là bạn cũ của ông, tổ chức một bữa tiệc mừng ông, luôn tiện mời các quan người Việt trong chính quyền mới đến dự.
Nhân có người yêu cầu ông thủ khoa làm bài thơ, ông mới thủng thẳng ngâm bài thơ như sau:
Nghĩ thẹn râu mày với nước non.
Nhìn nay tùng cúc, bạn xưa còn.
Miếu đường cách trở bề tôi chúa.
Gia thất riêng buồn nỗi vợ con.
Áo Hán nhiều phen thay vẻ lạ.
Rượu Hồ một mặt đắm mùi ngon.
Giang Đông nổi tiếng nhiều tay giỏi.
Cuốn đất nhiều tay, dám hỏi đon.
Nghe thơ cử toạ ra vẻ cảm động, nhưng không khỏi sượng sùng vì hai câu: áo Hán thay vẻ lạ. rượu Hồ đắm mùi ngon!
Trong thời gian bị quản thúc, ông chỉ ngâm thơ uống rượu, và tỏ ý băn khoăn về việc gia đình, cốt để cho Phương yên trí ông đã chán nản mọi việc. Quả nhiên Phương tưởng thật, xin Pháp trả tự do cho ông. Bấy giờ Pháp đã nắm vững được tình hình rồi, nên cũng ưng thuận thả ông ra. Được tha, ông lại ngầm tổ chức nghĩa quân chống Pháp.
Tháng 4 - 1875, ông bị quân Pháp vây bắt.
Lần này, Pháp lại dụ hàng nữa, song ông khăng khăng một mực, nên bị đem hành hình tại chợ Phú Kiết, tỉnh Định Tường.
Ông để lại bài thơ và câu đối như sau:
Hãn mã nan kham vị quốc cừu.
Chỉ nhân binh bại trí thân hưu.
Anh hùng mạc bả doanh thâu luận.
Vũ trụ trường khan tiết nghĩa lưu.
Vô bố nghĩa kinh Hồ lỗ phách.
Bất hàng cam đoạn Tướng quân đầu.
Đương niên Tho Thủy ba lưu huyết.
Long đảo thu phong khởi mộ sầu.
Bản dịch của Phan bội Châu:
Ruổi dong vó ngựa trả thù chung.
Binh bại cho nên mạng phải cùng.
Tiết nghĩa vẫn lưu cùng vũ trụ.
Hơn thua xá kể với anh hùng.
Nổi xung mất vía quân Hồ lỗ.
Quyết thác không hàng, rạng núi sông.
Tho Thủy ngày rày pha máu đỏ.
Đảo rồng hiu hắt ngọn thu phong.
Câu đối:
Hữu chí nan thân, không uổng bách niên chiêu vật nghị.
Tuy công bất tựu, diệc tương nhất tử báo quân ân.
- Có chí khôn bày, không uổng trăm năm lời nghị chúng.
- Tuy công chưa lập, cũng đành một thác báo ơn vua.
Rồi lại ngâm to một bài thơ Nôm sau đây, rồi mới ngửa cổ ra cho chém. Năm ấy ông mới 35 tuổi.
Hai bên thiên hạ thấy hay không?
Một gánh cương thường, há phải gông.
Oằn oại hai vai quân tử trúc.
Long lay một cổ trượng phu tòng.
Sống về đất Bắc danh còn rạng.
Thác ở thành Nam tiếng bỏ không.
Thắng bại, doanh thâu trời khiến chịu.
“ Phản thần ”, đ.m đứa cười ông!