Theo tài liệu khảo cứu, ở làng Lưu Xá thuộc vùng Hải Ấp (nay thuộc xã Canh Tân, huyện Hưng Hà) thế lực họ Lưu rất mạnh. Lưu Ngữ vốn quê ở Cửu Chân (Thanh Hóa), giỏi thi thư, văn võ kiêm toàn, theo Lê Hoàn từ buổi đầu đến với Đinh Bộ Lĩnh. Khi Đinh Tiên Hoàng mất, Lê Hoàn lên ngôi, ông được phong chức Đô Hỏa đầu, phong ấp tại ngã ba Cửa Luộc (nay là cửa Đào Thành, xã Canh Tân, huyện Hưng Hà). Lưu Ngữ là người trực tiếp phò tá vua Lê Long Đĩnh (con vua Lê Đại Hành) đi đánh Ngự Bắc Vương Mạt Liên (Tiên Lữ, Hưng Yên nay); đánh Lê Hấp Ni và 12 tướng nổi loạn ở Lê Xá (thôn Dương Xá, xã Tiến Đức, huyện Hưng Hà), nên ở Dương Xá vẫn lưu truyền câu ca: “Cầu Lê, quán Bún thờ Lê Ngọa triều”. Do bất đồng chính kiến với Lê Long Đĩnh, Lưu Ngữ đã liên kết với sư Vạn Hạnh và Chi hậu Đào Cam Mộc lo việc thay đổi vương triều từ Lê sang Lý...