Cho đến cuối thế kỷ 19, cộng đồng Toán học trên thế giới làm việc riêng rẽ, từng nhóm với nhau hoặc từng quốc gia với nhau, chưa có một cuộc đại hội nào ở quy mô toàn cầu. Lần đầu tiên, vào năm 1897, 208 nhà Toán học từ 16 nước khác nhau tụ họp tại Zürich, Thụy Sĩ. Đó là Đại hội các nhà Toán học lần thứ nhất (The International Congress of Mathematicians - ICM). Họ cũng thống nhất với nhau là Đại hội lần thứ hai diễn ra tại Paris (Pháp) vào năm 1900, và kể từ đó cứ 4 năm một lần Đại hội lại được tổ chức ở một địa điểm nào đó được thỏa thuận trước.
Theo quyết định của Đại hội lần thứ 6 năm 1920 họp tại Strasbourg (Pháp) thì Đại hội lần thứ 7 năm 1924 sẽ diễn ra tại Toronto (Canada). Một ủy ban chuẩn bị cho Đại hội được thành lập vào tháng 11 năm 1923, trụ sở đặt tại Đại Học Toronto, chủ tịch ủy ban do giáo sư John Charles Fields và thư ký là giáo sư John Synge, một đồng nghiệp của ông, đảm nhiệm.
Lịch sử huy chương Fields bắt đầu từ Đại hội toán học thế giới (Đại hội) năm 1924 tại Toronto. Trong khi tiến hành chuẩn bị Đại hội, Fields đã có ý định thiết lập một phần thưởng trao tặng cho một hoặc hai nhà Toán học xuất sắc nào đó, nhưng lúc đó ông chưa có điều kiện thực hiện. Cho tới cuộc họp ban trù bị năm 1931 chuẩn bị cho Đại Hội năm 1932 tổ chức lại Zürich – mà Fields tiếp tục là thành viên thì ông mới chính thức đưa ra ý kiến này. Trích báo cáo của ủy ban trù bị về ý kiến của Fields: “Sau Đại Hội 1924 đến nay, tổng kết số tiền còn lại là 2500 USD. Số tiền này sẽ được dành riêng để làm hai huy chương bằng vàng và phần thưởng trao tặng trong kỳ Đại Hội kế tiếp vào 1936. Một ủy ban do Đại Hội này bổ nhiệm sẽ chọn lựa ra người đoạt giải.” Fields cũng cho biết là các hội Toán học Pháp, Đức, Ý, Thụy Sĩ, và Mỹ hoàn toàn ủng hộ ý kiến này.
Trong biên bản Đại hội năm 1932 có ghi lại một số nguyên tắc chính cho giải thưởng do Fields đề nghị, trong đó có ý quan trọng sau đây: “Người được trao tặng huy chương không được quá 40 tuổi.” Bởi vì lý do mà ông đưa ra là: “Trong khi chúng ta công nhận công trình xuất sắc của người được giải, thì cùng một lúc chúng ta khuyến khích anh ấy và những người trẻ tuổi tiếp tục nỗ lực làm việc cho những thành tựu khác trong tương lai.” Ông cũng nói thêm: “Huy chương này có giá trị quốc tế, không gắn theo nó một ý nghĩa cá nhân hoặc một quốc gia dân tộc nào cả.”
Tiếc thay, Fields đã qua đời vào tháng 5 năm 1932 trước khi nhìn thấy ý định của mình được Đại hội nhóm họp vào tháng 8 năm ấy thông qua. Phần thưởng cao quý này có tên chính thức là Huy chương Quốc tế dành thưởng cho những khám phá xuất sắc của Toán học (International Medal for Outstanding Discoveries in Mathematics), nhưng để ghi nhớ công sức của Fields trong quá trình hình thành giải thưởng này nên giải thường được gọi tắt là Huy chương Fields.
Cuối Đại hội năm 1932, một ủy ban được thành lập, có nhiệm vụ tìm và chọn người sẽ được trao Huy chương Fields trong kỳ Đại Hội kế tiếp (sẽ tổ chức vào năm 1936 tại Oslo, Na-uy). Ủy ban này gồm các nhà Toán học tài giỏi và uy tín nhất thời ấy:
1. George David Birkhoff (1884 – 1944), người Mỹ.
2. Constantin Carathéodory (1873 – 1950), người Hy Lạp.
3. Élie Cartan (1869 – 1951), người Pháp.
4. Francesco Severi (1879 – 1961), người Ý.
5. Teiji Takagi (1875 – 1960), người Nhật.
Theo quy định, Huy chương Fields làm bằng vàng 14, có đường kính 63.5 mm. Huy chương được điêu khắc gia Robert Tait McKenzie người Canada thiết kế. Do giải thưởng có giá trị quốc tế nên các câu chữ ghi trên hai mặt huy chương được viết bằng tiếng La Tinh. Mặt trước có hình Archimedes (APXIMHΔOY∑) và có ghi:
TRANSIRE SVVM PECTVS MVNDOQVE POTIRI
(Vượt qua sự hiểu biết của anh và anh sẽ chế ngự được vũ trụ)
Mặt sau ghi:
CONGREGATI EX TOTO ORBE MATHEMATICI OB SCRITPTA INSIGNIA TRIBVERE
(Nhà Toán học được thế giới tặng thưởng huy chương này vì những công trình xuất sắc)
Chìm trong mặt sau là cành hoa nguyệt quế (tượng trưng cho vinh quang chiến thắng) và hình trụ ngoại tiếp hình cầu (hình ưa thích của Archimedes và được xem là biểu tượng của nhà Toán học này).
Giá thành của mỗi chiếc huy chương là 5.500 USD. Phần thưởng tiền mặt dành cho mỗi người là 15.000 USD. (Tính theo thời giá năm 2014)