Thuở nhỏ học Võ trường Toản. Đỗ cử nhân năm Tân Mão ( 1831, Minh Mạng 12 ). Ra làm quan triều Tự Đức giữ chức tuần phủ Hà Tiên. Khi Pháp chiếm Nam kỳ, cáo quan về ở ẩn ở Hà Tiên.
Ông hay qua Bình Thủy ( Cần Thơ ) đàm luận văn chương với thủ khoa Bùi hữu Nghĩa, rất là thích ý.
Có lần ông lên chơi Sài Gòn, đang thơ thẩn nơi bồn kèn trước toà Đô chính chợt thấy Tôn thọ Tường, dừng xe bên đường, đi đến ông. Ông muốn tránh, đứng núp vào gốc cây; song Tôn cứ bước lại chào. Ông không làm sao được, đành đứng ra đáp lễ bằng một bài thơ:
Cừu mã năm ba bạn cặp kè.
Duyên đâu giải cấu khéo đè ne!
Đã cam bít mặt cùng trời đất.
Đâu dám nghiêng mình với ngựa xe.
Hớn hở, trẻ dong đường dặm liễu.
Thẫn thờ, già náu cột cây hoè.
Núp nom cũng hổ, chào thêm hổ.
Thà ẩn non cao chẳng biết nghe…
Khi Pháp đến, Huỳnh cáo quan về, Tôn bấy giờ mới ra làm quan. Trước dấy hai bên kết bạn.Nay gặp lại đây, thì Tôn đã may được cơ hội tốt, ra làm quan. Thôi thì một đằng hớn hở dong dặm liễu, nghiêng mình với ngựa xe. Còn một đằng âu đành thẫn thờ núp cội hoè, bít mặt cùng trời đất.
Tôn nghe xong, nét mặt sượng sùng, bụng nghĩ: trong cơn hoạn nạn gặp nhau giữa đường mà cũng ngâm nga, đúng thật là phong thói nhà nho. Nhưng như thế cũng phải: làm thơ thì dễ nói hơn là đối đáp thường vì thơ nhiều ý mà ít lời, huống chi hai bên tình ý cùng nghẹn ngào cả. Bèn đọc lại mấy vần biện minh cho mình.
Tình cờ gặp gỡ bạn tiền liêu (1)
Thi phú ngâm nga hứng gió chiều.
Thế cục đổi dời càng lắm lắm.
Thiên cơ mầu nhiệm hãy nhiều nhiều.
Nước non dường ấy, tình dường ấy.
Xe ngựa bao nhiêu, bụi bấy nhiêu.
Hăng hái nhạc Tây hơi thổi mạnh.
Nghe qua, ngùi nhớ giọng tiêu thiều ( 2 )
Ý nói thế cuộc đổi thay, đi xe ngựa thế này có sung sướng gì đâu; cũng vì nhạc Tây thổi mạnh, thế Tây đương lớn, đành phải theo chiều, nhưng lòng riêng vẫn nhớ nhạc cũ.
Tôn ngâm dứt, Huỳnh thấy lập luận bằng hai chữ đổi dời, không chịu, lại đọc tiếp luôn, cốt cho Tôn biết: giấy rách sao không giữ lề, giỏ kia dẫu nát cũng còn lại được cái khung tre chứ.
Ngoài tai phải quấy vẫn nhàm nghe.
Cuộc lợi đường danh ỏi giọng ve.
Chớ nói đổi dời, sao cốt cách?
Xưa nay giỏ nát vẫn còn tre.
Từ đó Huỳnh trở về Hà Tiên, tiêu dao nơi non xanh nước biếc, không còn màng gì tới việc đời nữa.
Năm 1883, ông từ trần thọ 77 tuổi.
Ông có làm bài ngụ ngôn Chó già để nói tâm sự mình lúc tuổi cao sức yếu.
Tuy rằng muôn cẩu có ân ba.
Răng rụng lâu năm nó phải già.
Bởi đuổi hươu Tần, nên mỏi gối.
Vì lo khỉ Sở mới chùn da ( 3 )
Không ai chấn Bắc ngăn bầy cáo.
Ít kẻ nhờ Tây giữ đứa tà.
Mạnh mẽ như xưa còn xốc vác.
Bây giờ yếu đuối hết xông pha.
Chú thích:
Tiền liêu: bạn làm quan lớp trước.
Tiêu thiều: nhạc đời vua Thuấn.
Đời Tần thủy Hoàng, Triệu Cao chỉ hươu nói là ngựa, thử xem có ai theo mình không - Sở bá Vương thường bị diễu là khỉ đội mũ, không xứng với ngôi cao.