Núi Đôi gắn với nhiều câu chuyện truyền thuyết được đồng bào các dân tộc nơi đây lưu truyền từ đời này sang đời khác. Truyện kể rằng xưa kia, ở vùng đất này có một chàng trai người H’mông tuấn tú, có tài thổi đàn môi.
Tiếng đàn môi của chàng réo rắt đã níu giữ trái tim của một nàng tiên trên thượng giới tên là Hoa Đào. Phải lòng chàng nên nàng tìm cách ở lại vùng đất này. Họ nên vợ nên chồng và sinh được một bé trai kháu khỉnh
Ngọc Hoàng phát hiện ra chuyện Hoa Đào bỏ trốn xuống trần gian đã vô cùng giận dữ, sai người đi bắt nàng về. Thương chồng một mình nuôi con vất vả, thương con thơ thiếu bầu sữa mẹ, nàng đã bỏ lại đôi nhũ hoa của mình dưới hạ giới cho con bú. Đôi nhũ căng tròn nuôi con nàng ngày càng khôn lớn, sau này đã biến thành hai quả núi dáng hình như bầu vú mẹ.
