Trong thời Pháp thuộc, có một bọn người chuyên tổ chức những "trò chơi có thưởng". Trò chơi của bọn họ gồm một cái que và ba chiếc lá. Mỗi lá có đính một chiếc vòng nhỏ ở cuống. Người chơi cầm cái que nhỏ xỏ vào ba vòng này. Mỗi người chỉ được xỏ một lần. Người nào xỏ vào được một lúc cả ba lá và nhấc được chúng lên thì được lĩnh thưởng. Ai xỏ trật, tức xỏ không vào lá nào hoặc chỉ vào một trong ba lá, sẽ mất toi số tiền đặt cược.

Cũng liên quan tới trò chơi này, có người kể lại cách thức chơi của bọn chủ trò có khác chút ít. Chúng thường dùng ba que nhỏ, trong đó chỉ có một que xỏ vào chiếc lá rồi chìa cho mọi người xem. Chúng tuyên bố rằng nếu ai rút trúng que có chiếc lá khi chúng nắm tay lại thì người đó trúng thưởng. Ngược lại, người chơi sẽ mất số tiền đặt cược trước. Dù chơi theo cách thức nào đi nữa, thì bọn chủ trò vẫn có nhiều mưu mẹo, khiến cho người chơi bao giờ cũng thua cuộc. Vì thế, người ta mới gọi bọn chủ trò là bọn "ba que xỏ lá" với hàm ý là bọn bịp bợm, lừa đảo, dối trá. Từ cách thức chơi thứ nhất, nhiều người cho rằng hình thức ban đầu của "ba que xỏ lá" là "xỏ lá ba que".

Sở dĩ có sự thay đổi này là do việc đọc chệch cho thuận miệng, dễ đọc, dễ nhớ.

Thành ngữ "ba que xỏ lá" dần dần được mở rộng phạm vi xử dụng. Nó được dùng để chỉ tất cả những hạng người lừa lọc, bịp bợm, đểu cáng.