Ngày nay, dựa vào tài liệu khảo cổ học, vào lịch sử ngôn ngữ, vào khảo sát cấu trúc các công trình kiến trúc cổ còn lại... ta thấy rõ người Việt Nam xưa ắt hẳn phải rất giỏi tính toán và Toán học đã được ứng dụng khá nhiều vào đời sống từ rất sớm. Số học là môn phát sinh trước và sớm nhất. Nếu đứng ở góc độ số học để khảo cứu những cánh sao, tia sáng mặt trời, đàn chim, chiếc thuyền... khắc vẽ trên mặt, trên thân các trống đồng, chúng ta sẽ tập hợp được nhiều sự kiện toán học nằm trong đó, cung cấp cho ta một bức tranh đẹp về trình độ nắm vững và sử dụng số học của tổ tiên ta thời cổ đại. Nghiên cứu các hoa văn trên đồ gốm tìm được ở Phùng Nguyên, Gò Bông, Xóm Rền... chúng ta thấy các dạng hoa văn rất phong phú: hình chữ S, có loại dài, loại vuông, loại nối ngang lưng nhau; hình chữ X, chữ A; hai đường song song uốn khúc đều đặn, liên tục; hình tam giác xếp ngược chiều nhau, hình tam giác cuộn. Qua đấy, không thể nghi ngờ gì được khi nói rằng người Việt Nam 3 - 4 nghìn năm trước đây đã có những nhận thức hình học và tư duy chính xác khá cao. Từ hình dáng, kích thước các trống đồng loại cổ nhất ở Việt Nam, chúng ta hiểu, để tạo được những mặt tròn đường kính to nhỏ khác nhau, những mặt phẳng, những góc độ chính xác ấy, các nhà chế tác trống đồng thuở đó phải sử dụng các con số, các loại thước chính xác.
Theo Khâm định Việt sử thông giám cương mục và Đại Việt sử ký toàn thư, các nhà nước phong kiến ở Việt Nam đã tổ chức các kỳ thi toán ở Quốc tử giám. Từ năm 1077, đời Lý Nhân Tông đã tổ chức kỳ thi Toán đầu tiên, cùng với thi Thư (viết chữ) và Hình luật để chọn người làm việc lại (lại viên). Các kỳ thi này không tổ chức định kỳ, thường thì cứ 10 năm hoặc 15 năm sẽ có một kỳ thi chọn "lại viên".
Trong lịch sử nhà nước phong kiến Việt Nam thì người làm việc lại không được coi trọng. Họ làm các công việc như coi sổ sách, giấy má, tính sưu thuế, tính diện tích các đám ruộng, việc binh lương và các việc quốc dụng khác như tính thể tích con đê, thành, hào, tính số gạch, gỗ… Nhà sử học Phan Huy Chú đã viết trong “Lịch triều hiến chương” rằng “Xét ra chức nha, lại cho là hèn thấp. Việc kiểm soát sổ sách không giao cho kẻ sĩ. Kẻ sĩ làm văn, cho việc lại là ti tiện nên không nhúng tay vào”.
Năm 1261, đời Trần Thánh Tông, thi lại viên với 2 môn Thư và Toán, ai trúng được sung vào chức Nội lĩnh sử. Các kỳ thi chọn lại viên tiếp theo được tổ chức vào các năm 1363, đời vua Trần Dụ Tông; năm 1373, đời vua Trần Duệ Tông; năm 1404, khi Hồ Hán Thương lên ngôi, thi chọn lại viên có môn Toán. Thời này, nhà Hồ không những bắt buộc chương trình thi toán mà còn áp dụng rộng rãi toán học vào kinh tế, sản xuất: dùng Toán học đo lại tổng số ruộng đất toàn quốc, lập thành sổ sách điền địa từng lộ, phủ, châu, huyện. Năm 1437, đời vua Lê Thái Tông có thi Toán với 690 người trúng cử được bổ các chức ở các nha môn. Tiếp theo, vào các năm 1475, 1477, 1483, 1507, 1572, 1722 và 1762 là kỳ thi chọn lại viên cuối cùng có thi Toán. Đặc biệt kỳ thi năm 1507, đời vua Lê Uy Mục tổ chức thi Toán ở sân Điện Giảng Võ có hơn 3 vạn thí sinh, 1.519 người trúng tuyển.
Tuy nhiên, trong những năm sau đó, hoàn toàn không có thông tin gì về việc có môn toán hay không trong các kỳ thi. Phải đến năm 1762 mới có quy định về việc đưa môn toán vào trong các kỳ thi, nhưng chủ yếu là để tuyển “lại”, chứ không phải tuyển “quan”.
Những nhà toán học nổi bật trong thời kỳ này là:
+ Vũ Hữu (1437–1530) tác giả Lập thành toán pháp (立 成 算 法).
+ Lương Thế Vinh (1442–1496) tức Trạng Lường, ông biên soạn Toán pháp đại thành (算法大成) và Khải minh Toán học.
+ Nguyễn Hữu Thận (1757-1831) tác giả Ý Trai toán pháp nhất đắc lục (意齋算法一得錄).
