Chiếc tàu ngầm đầu tiên trên thế giới do nhà phát minh người Hà Lan Cornelius Drebbel chế tạo vào thế kỷ 17. Kể từ đó, tàu ngầm trải qua nhiều cải tiến để phục vụ mục đích quân sự và nghiên cứu khoa học ở vùng nước sâu, nơi vượt quá khả năng lặn của con người.
Một chiếc tàu lặn có khả năng di chuyển dưới mặt nước, không bị tàu của địch phát hiện và phục kích đã thu hút sự chú ý của các nhà lãnh đạo quân sự trên thế giới từ thời cổ đại. Truyền thuyết kể lại rằng, ngay cả Alexander Đại đế cũng từng tìm cách chế tạo dạng nguyên thủy của tàu ngầm để tiến hành trinh sát dưới nước.
Năm 1578, nhà toán học người Anh William Bourne vẽ phác thảo một trong những thiết kế đầu tiên về tàu có mái chèo dưới nước. Nhưng phải đến năm 1620, nhà sáng chế Cornelius Drebbel người Hà Lan mới biến ý tưởng này trở thành hiện thực.
Tàu ngầm của Drebbel làm bằng gỗ và được đẩy đi bằng mái chèo, có thể ở dưới nước trong vài giờ. Những chiếc ống gắn với phao nổi có nhiệm vụ mang không khí từ phía trên xuống cho toàn bộ thủy thủ đoàn bên dưới. Khi Drebbel chứng minh khả năng của tàu ngầm bằng cách cho nó lặn thử xuống sông Thames trong ba giờ, hàng nghìn người dân London (Anh) đã tập hợp trên bờ để quan sát màn trình diễn kỳ lạ. Ban đầu họ tin rằng Drebbel sẽ chết, nhưng cuối cùng thử nghiệm cũng thành công tốt đẹp.
Constantijn Huygens – nhà thơ, đồng thời là nhà soạn nhạc nổi tiếng người Hà Lan – sau khi chứng kiến toàn bộ cuộc thử nghiệm tàu ngầm của Drebbel viết rằng: “Sáng chế táo bạo này có thể được cải tiến để sử dụng trong chiến tranh, với khả năng tấn công và đánh chìm tàu của quân địch đang neo đậu an toàn tại bến cảng”. Giống như Huygens, nhiều người khác cũng nhận ra tiềm năng quân sự của tàu ngầm, mặc dù phải mất thêm một thế kỷ nữa tàu ngầm quân sự đầu tiên mới được chế tạo.
Năm 1718, một thợ mộc người Nga tên là Yefim Nikonov đã viết thư cho Sa hoàng (Peter Đại đế). Nikonov tuyên bố rằng ông có thể đóng một con tàu đặc biệt di chuyển dưới nước, có khả năng tiêu diệt tất cả tàu địch bằng súng đại bác. Tò mò và thích thú, Sa hoàng mời Nikonov đến thành phố Saint-Petersburg và yêu cầu ông bắt đầu công việc chế tạo tàu ngầm.
Năm 1721, Nikonov hoàn thành mô hình đầu tiên của tàu ngầm quân sự và chạy thử nghiệm nó trước sự chứng kiến của Peter Đại đế. Sa hoàng rất hài lòng với kết quả này. Ngay lập tức, ông ra lệnh cho Nikonov xây dựng một tàu chiến bí mật có kích thước lớn hơn.
Tàu ngầm của Nikonov làm từ gỗ và có hình dạng như một thùng rượu. Nó được trang bị các ống lửa – một loại vũ khí gần giống súng phun lửa. Khi tiếp cận tàu địch, tàu ngầm sẽ đưa phần đầu của ống lửa nhô lên khỏi mặt nước, sau đó phun vào tàu đối phương một số hỗn hợp gây cháy. Ngoài ra, Nikonov còn thiết kế thêm một khoang điều áp không khí, cho phép thợ lặn dễ dàng ra khỏi tàu ngầm để đục thủng đáy tàu quân địch.
Cuộc thử nghiệm chiếc tàu ngầm cỡ lớn đầu tiên diễn ra vào mùa thu năm 1724, nhưng kết quả không như mong đợi. Chiếc tàu ngầm bị chìm và vỡ phần đáy. May mắn là Nikonov cùng bốn tay chèo ở bên trong nhanh chóng bơi ra ngoài và thoát chết.
Sa hoàng Peter đã ủng hộ và khuyến khích Nikonov cải tiến thiết kế ban đầu. Nhưng các thất bại vẫn tiếp tục đeo bám Nikonov trong hai lần thử nghiệm tiếp theo vào mùa xuân năm 1725 và năm 1727. Sau khi Sa hoàng Peter – người bảo trợ chính của Nikonov – qua đời, Ủy ban Hải quân Hoàng đế Nga không còn đủ sự kiên nhẫn để cấp kinh phí cho Nikonov. Thậm chí Ủy ban còn buộc tội Nikonov lạm dụng công quỹ, giáng ông xuống làm thợ mộc bình thường và điều ông đến làm việc tại một xưởng đóng tàu khác trên sông Volga.
Năm 1775, một chiếc tàu ngầm quân sự mang tên “Turtle” (Con rùa) lần đầu tiên được sử dụng trên chiến trường, cụ thể là trong cuộc Chiến tranh Cách mạng Mỹ (American Revolutionary War). Nhà phát minh David Bushnell người Mỹ thiết kế chiếc tàu ngầm này hình quả trứng với sức chứa tối đa một người. Turtle hoạt động nhờ sức mạnh đôi tay của người điều khiển.
Nếu muốn Turtle lặn xuống, người điều khiển sẽ dùng bơm tay đẩy nước vào trong bể chứa ở đáy tàu. Ngược lại nếu muốn tàu ngầm ngoi lên khỏi mặt nước, người điều khiển bơm hết nước ra khỏi bể chứa. Những chiếc chân vịt [quay bằng tay] giúp Turtle chuyển động theo chiều ngang và chiều dọc với tốc độ tối đa 4,8 km/h. Khoang tàu ngầm có đủ lượng không khí để hoạt động khoảng 30 phút.
Trong cuộc Chiến tranh Cách mạng Mỹ, trung sĩ trẻ tuổi Ezra Lee điều khiển tàu ngầm Turtle tấn công tàu chiến Anh. Nhiệm vụ của Lee là khoan thủng một lỗ trên vỏ tàu HMS Eagle của Hải quân Anh để gắn thuốc nổ. Đáng tiếc là Lee bị quân địch phát hiện trước khi đánh chìm thành công tàu HMS Eagle, buộc anh phải bỏ lại chiếc tàu ngầm để tự cứu lấy mình.
Tuy nhiên, các hồ sơ ghi lại cuộc tấn công này chỉ tồn tại ở phía quân Mỹ. Không có hồ sơ nào của Anh ghi chép về một cuộc tấn công tàu ngầm trong chiến tranh. Điều này khiến các nhà sử học nghi ngờ tính chính xác của câu chuyện. Một số người tin rằng toàn bộ câu chuyện xung quanh tàu ngầm Turtle do Mỹ dựng nên nhằm đánh lạc hướng và de dọa đối phương.
Hiện nay, mô hình tàu ngầm Turtle với kích thước như nguyên bản đang được trưng bày tại Thư viện và Bảo tàng Lực lượng Tàu ngầm Hải quân Mỹ.
Cùng với sự phát triển của khoa học và kỹ thuật, tàu ngầm ngày càng trở nên hiện đại hơn. Nó không còn hoạt động nhờ sức người mà chạy bằng động cơ diesel – điện hoặc lò phản ứng hạt nhân. Ngoài việc sử dụng cho mục đích quân sự, tàu ngầm cũng được dùng để vận chuyển hàng hóa, cứu hộ dưới biển và thám hiểm đại dương, nơi độ sâu vượt quá khả năng lặn của con người.