Bóng đá xuất hiện tại mọi kỳ Thế vận hội Mùa hè trừ 1896 và 1932 đối với nội dung bóng đá nam. Nội dung bóng đá nữ chính thức được thêm vào chương trình thi đấu năm 1996.
Các nhà sử học vẫn chưa thể xác định chính xác môn bóng đá góp mặt từ kỳ Olympic nào. Một số người cho rằng ngay từ kỳ Olympic hiện đại đầu tiên, tổ chức năm 1896, bóng đá đã góp mặt khi Athens XI của Hy Lạp giáp mặt và thua một đội đại diện cho vùng Smyrna (Izmir) của Đế quốc Ottoman (Thổ Nhĩ Kỳ ngày nay), chính cả hai nước này ngày nay đều hoàn toàn là thuộc bóng đá châu Âu.[1] Nhưng đây chỉ là thông tin không chính thức, vì các nguồn tư liệu còn lại là quá ít để thừa nhận sự kiện này. Bóng đá được đưa vào chương trình đại hội năm 1900 và 1904 nhưng chỉ có các câu lạc bộ và các đội tuyển nhiều quốc tịch tham gia. Tuy nhiên các giải này không được FIFA công nhận mặc dù IOC coi các vào các năm 1900 và 1904 là các nội dung chính thức.
Tại thế vận hội ở Luân Đôn năm 1908, FA đứng ra tổ chức bộ môn bóng đá với sự tham dự của 6 đội. Số đội tăng lên 11 vào năm 1912, khi giải được tổ chức bởi Hiệp hội bóng đá Thụy Điển. Nhiều trận đấu trong thời kì này có tỉ số cách biệt hoặc có rất nhiều bàn thắng. Sophus Nielsen (năm 1908) và Gottfried Fuchs (năm 1912) đều đạt thành tích ghi được 10 bàn trong một trận đấu. Tất cả các cầu thủ tham dự đều là nghiệp dư để phù hợp với tinh thần Olympic. Ủy ban Olympic Quốc gia của Anh Quốc đề nghị FA gửi một đội tuyển quốc gia Anh nghiệp dư. Một số thành viên của đội tuyển Anh là cầu thủ của các câu lạc bộ chuyên nghiệp như Ivan Sharpe của Derby County, Harold Walden của Bradford City và Vivian Woodward của Chelsea. Anh dễ dàng chiến thắng các giải đấu đầu tiên khi 2 lần đánh bại Đan Mạch.
Trong trận chung kết năm 1920, đội tuyển Tiệp Khắc rời khỏi sân để phản đối trọng tài John Lewis và bầu không khí căng thẳng từ lực lượng quân sự tại Antwerpen. Tại Thế vận hội 1924 và 1928, Uruguay và Argentina là các đại diện Nam Mỹ đầu tiên dự giải. Uruguay giành chiến thắng tại cả hai kì Thế vận hội trên.
Sau đề xuất của Henri Delaunay vào năm 1929 nhằm khởi động giải bóng đá chuyên nghiệp vô địch thế giới, bóng đá lập tức bị đưa ra khỏi Thế vận hội Mùa hè 1932 ở Los Angeles để nhường chỗ cho bóng đá kiểu Mỹ. Bóng đá vẫn tiếp tục là chủ đề tranh cãi của Thế vận hội Mùa hè 1936 tại Berlin. Ban tổ chức phía Đức muốn đưa bóng đá trở lại Olympic bởi nó bảo đảm cho doanh thu của giải. Tại vòng tứ kết sau khi Peru chiến thắng Áo ở hiệp phụ, tuy nhiên trận đấu bị gián đoạn ở những phút cuối do cổ động viên chạy vào sân. Áo đề nghị hủy kết quả và tổ chức đá lại; mặc dù FIFA chấp thuận tuy nhiên Peru không đồng ý và rời giải.[2][3]
Cùng với sự chuyên nghiệp hóa trên thế giới, khoảng cách về trình độ giữa World Cup và Olympic dần nới rộng. Các quốc gia thuộc khối Xô ViếtĐông Âu, nơi các vận động hàng đầu được nhà nước tài trợ và được coi là nghiệp dư, là các đoàn hưởng lợi từ điều này. Từ năm 1948 tới 1980, 23 trong tổng số 27 huy chương Olympic thuộc về các đội Đông Âu, và chỉ có Thụy Điển (huy chương vàng năm 1948 và huy chương đồng vào năm 1952), Đan Mạch (huy chương bạc vào năm 1960) và Nhật Bản (huy chương đồng vào năm 1968) là các đội phá thế thượng phong của họ. Từ năm 1952, kết quả tại môn bóng đá nam Olympic không được tính vào kết quả chinh thức của các đội tuyển quốc gia.
Tại Thế vận hội Los Angeles 1984, IOC quyết định cho phép cầu thủ chuyên nghiệp tham dự. FIFA vẫn không muốn Olympic cạnh tranh với World Cup, nên một thỏa thuận được đề ra cho phép các đội châu Á, châu Phi và Bắc Mỹ sử dụng các cầu thủ tốt nhất của họ, còn các đội châu Âu và Nam Mỹ chỉ được đưa các cầu thủ chưa từng dự World Cup tới Olympic. Các quy tắc năm 1984 cũng được duy trì cho phiên bản năm 1988, nhưng có một đoạn bổ sung: những cầu thủ bóng đá châu Âu và Nam Mỹ trước đó đã chơi ít hơn 90 phút trong một trận đấu duy nhất của World Cup, đều đủ điều kiện.[4]
Kể từ năm 1992 các cầu thủ tham dự không được vượt quá 23 tuổi, còn kể từ 1996 mỗi đội được phép sử dụng ba cầu thủ trên 23 tuổi. Thể thức mới giúp cuộc cạnh tranh giữa các đội trên toàn thế giới trở nên cân bằng hơn khi hai đội tuyển châu Phi là Nigeria và Cameroon lần lượt giành huy chương vàng vào các năm 1996 và 2000.
Vương quốc Liên hiệp Anh và Bắc Ireland không hề có cơ quan điều hành bóng đá chung, và mỗi quốc gia thuộc Vương quốc Anh có một đội tuyển riêng. Chỉ có Hiệp hội bóng đá Anh (FA) trực thuộc Hiệp hội Olympic Anh (BOA). FA cũng là đơn vị cung cấp cầu thủ cho đội Anh Quốc tại các giải bóng đá cho tới năm 1972. Vào năm 1974, FA bãi bỏ phân biệt giữa bóng đá "nghiệp dư" và "chuyên nghiệp", và ngừng tham dự Olympics. Mặc dù FIFA chuyên nghiệp hóa bóng đá tại Olympic kể từ năm 1984, FA vẫn không tham dự trở lại, vì các quốc gia trong Liên hiệp Anh lo ngại về việc FIFA sẽ lại đặt vấn đề đối với sự chia tách của các nước này tại các giải đấu của FIFA cũng như trong Hội đồng Liên đoàn bóng đá Quốc tế.[5][6] Khi Luân Đôn được chọn là chủ nhà Thế vận hội Mùa hè 2012, áp lực được đặt lên vai FA nhằm thành lập đội tuyển Vương quốc Anh.[7] Vào năm 2009 FA đạt thỏa thuận với Hiệp hội bóng đá Wales, Hiệp hội bóng đá Scotland và Hiệp hội bóng đá Ireland của Bắc Ireland rằng sẽ chỉ có cầu thủ của Anh trong thành phần đội tuyển;[8] Tuy nhiên BOA bác bỏ thỏa thuận này,[9] và cuối cùng cầu thủ của xứ Wales xuất hiện ở cả hai đội hình còn các cầu thủ Scotland có mặt trong đội hình đội tuyển nữ.[10][11] Sau Thế vận hội 2012, FA quyết định sẽ vẫn không tham gia các giải đấu tại Olympic.[12]
Một giải bóng đá Thế vận hội cần nhiều sân vận động, vì vậy mà ban tổ chức thường sử dụng thêm các sân vận động tại các thành phố khác ngoài sân vận động của thành phố tổ chức.
Sân vận động Thành phố Coventry & St. James Park lần lượt được mang tên Ricoh Arena & Sports Direct Arena, nhưng do luật của IOC không cho phép sự hiện diện của nhà tài trợ tại các địa điểm thi đấu nên các sân này phải tạm thời đổi tên trong thời gian đại hội. Tương tự là trường hợp của sân Arena Fonte Nova với tên chính là Itapaiva Arena Fonte Nova.
Giống như World Cup, các giải đấu vòng loại Thế vận hội Mùa hè được tổ chức theo từng khu vực. Một số liên đoàn châu lục tổ chức giải đấu vòng loại U-23 đặc biệt, trong khi vòng loại châu Âu chọn suất tham dự từ các vòng chung kết của Giải vô địch bóng đá U-21 châu Âu và vòng loại Nam Mỹ là Giải vô địch bóng đá trẻ Nam Mỹ dành cho đội tuyển U-20. Các đội đang tham gia vào các cuộc thi đấu vòng sơ bộ và vòng chung kết phải được sáng tác của cầu thủ U-23, với tối đa là ba cầu thủ lớn tuổi hơn U-23. Đối với Rio 2016, cầu thủ U-23 được sinh ra sau ngày 1 tháng 1 năm 1993.[17]
Đối với Thế vận hội 2016, số lượng đội của mỗi lục địa được phân bổ như sau (thứ tự từ nhiều tới ít):
Giải đấu nữ bao gồm các đội tuyển quốc gia và không giới hạn về tuổi. Đa phần các châu lục sẽ tổ chức giải vòng loại riêng. Riêng UEFA, cho đến Thế vận hội Mùa hè 2020 họ vẫn lựa chọn suất dự Thế vận hội dựa trên kết quả của kỳ World Cup năm trước đó. Kể từ Thế vận hội Mùa hè 2024, Vòng chung kết UEFA Women's Nations League được tổ chức vào đầu năm diễn ra Thế vận hội Mùa hè sẽ đồng thời đóng vai trò là vòng loại Thế vận hội Mùa hè môn bóng đá nữ.
Phân bổ 12 suất cho mỗi lục địa dự Thế vận hội 2020 của bộ môn bóng đá nữ:
Sophus Nielsen của Đan Mạch vào năm 1908 và năm 1912 giữ kỷ lục về số bàn thắng nhiều nhất mà một cầu thủ ghi được trong một giải đấu toàn và đơn, ghi được 13 bàn. Giải bóng đá chính thức đầu tiên được tổ chức tại Luân Đôn, Anh, năm 1908.
Neymar đã đánh dấu bàn thắng nhanh nhất trong một trận bóng đá Olympic nam trong lịch sử vào lúc 14 giây trong trận bán kết với Honduras vào ngày 17 tháng 8 năm 2016.[18]
※ Các quốc gia được xếp hạng theo tổng số huy chương giành được (nam và nữ) bao gồm năm 1900 và năm 1904. ※ Huy chương đồng được chia sẻ trong giải đấu năm 1972