Trong truyện Sherlock Holmes đầu tiên, Cuộc điều tra màu đỏ, bác sĩ Watson đã so sánh Holmes với thám tử hư cấu C. Aguste Dupin của Edgar Allan Poe, người có cách thức điều tra tương tự. Đề cập tới một tình tiết trong "Án mạng trên phố Morgue" khi Dupin đọc được suy nghĩ của một người bạn mặc dù cả hai chỉ im lặng đi cùng nhau suốt mười lăm phút, Holmes nhận xét: "Hắn làm cái trò xâm nhập vào ý nghĩ của bạn bè bằng một lời bình luận đúng lúc... mánh khóe ấy quá là phô trương và nông cạn."[106] Thế nhưng, Holmes cũng thực hiện 'mánh khóe' tương tự với Watson trong "Hai lỗ tai người trong hộp các-tông"[107] và "Những hình nhân nhảy múa".[108]
Các câu chuyện luôn gọi phương pháp điều tra trí tuệ của Sherlock Holmes là "diễn dịch" nhưng thực tế anh chủ yếu điều tra dựa vào lập luận hồi quy: suy ra lời giải thích cho các chi tiết đã quan sát.[109][110][111] "Từ một giọt nước", Holmes viết, "nhà logic học có thể suy luận ra cả Đại Tây Dương hay thác Niagra mà không cần phải nhìn hay nghe tận nơi."[112] Tuy nhiên, Holmes cũng áp dụng cả suy luận diễn dịch. Nguyên tắc tôn chỉ của vị thám tử như anh đề cập trong Dấu bộ tứ đó là: "Khi đã loại trừ hết những điều bất khả, thì điều gì còn lại, cho dù phi lý tới đâu, nhất định phải là sự thật."[113] Kiểu suy luận có lỗ hổng trên được gọi là ngụy biện Holmesian[114] hoặc ngụy biện Sherlock Holmes.[115]
Bất chấp khả năng suy luận đáng nể của Holmes, Conan Doyle vẫn khắc họa Holmes là người có thể mắc sai lầm ở khoản này (đó là chủ đề chính trong "Khuôn mặt vàng vọt")Mặc dù Holmes nổi tiếng với khả năng suy luận, phương pháp điều tra của anh lại phụ thuộc nhiều vào việc thu thập chứng cứ vật lý. Nhiều kỹ thuật mà Holmes sử dụng trong các câu chuyện đều ở thời điểm chúng còn rất sơ khai.[117][118]
Holmes rất giỏi phân tích bằng chứng dấu tích hoặc bằng chứng hữu hình, bao gồm cả các dấu vết ẩn (dấu chân, dấu móng tay, dấu giày và dấu lốp xe), để xác định những hành động đã diễn ra tại hiện trường.[119] Anh sử dụng tro thuốc hoặc tàn thuốc để nhận diện tội phạm,[120] phân tích chữ viết tay và bút tích,[121] so sánh thư đánh máy để vạch trần kẻ gian lận,[122] sử dụng dư lượng thuốc súng để bắt hai tên sát nhân,[122] và xem xét những mảnh thi thể nhỏ để phá hai vụ án mạng.[123]
Vì phần lớn bằng chứng đều có kích thước nhỏ, Holmes thường sử dụng kính lúp ở hiện trường và kính hiển vi quang học ở căn hộ trên phố Baker của mình. Anh áp dụng hóa phân tích để phân tích tàn dư máu và độc chất học để xác định các loại độc dược. Phòng thí nghiệm tại gia của Holmes đã được đề cập trong "Bản hiệp ước hải quân".[124] Trong "Ngôi nhà trống không", nghiên cứu đạn đạo bằng cách thu hồi những viên đạn đã bắn rồi ghép thử với một vũ khí giết người tình nghi, trở thành một thủ tục thông thường của cảnh sát chỉ trong khoảng 15 năm sau khi câu chuyện được xuất bản.[125]
Laura J. Snyder khi xem xét các phương pháp của Holmes trong bối cảnh ngành tội phạm học từ giữa đến cuối thế kỷ 19, đã chứng minh được rằng dù thỉnh thoảng đi trước những gì mà các cơ quan điều tra đương thời sử dụng, chúng vẫn dựa trên các phương pháp, kỹ thuật hiện có. Ví dụ, dấu vân tay được đề xuất là đặc điểm nhận diện vào thời của Conan Doyle, và trong khi Holmes sử dụng nó để giải quyết một vụ án trong "Gã chủ thầu vùng Norwood" (thường được cho là lấy bối cảnh năm 1895), thì câu chuyện được xuất bản vào năm 1903, hai năm sau khi Văn phòng vân tay Scotland Yard mở cửa.[118][126] Tuy nhiên, Holmes vẫn là người truyền cảm hứng cho các thế hệ nhà khoa học pháp y tương lai trong lối suy nghĩ khoa học và giàu tính phân tích.Holmes có năng khiếu về cả diễn xuất lẫn cải trang. Trong một số câu chuyện ("Dấu bộ tứ", "Chales Augustus Milverton", "Gã đàn ông méo miệng", "Ngôi nhà trống không" và "Vụ tai tiếng xứ Bohemia"), để tìm kiếm bằng chứng một cách bí mật, Holmes đã cải trang thuyết phục tới nỗi Watson không tài nào nhận ra. Ở những lần khác ("Thám tử hấp hối" và "Vụ tai tiếng xứ Bohemia"), Holmes giả vờ bị thương hoặc bệnh tật để buộc tội đối tượng. Trong "Vụ tai tiếng xứ Bohemia", Watson từng nói, "Sân khấu mất đi một diễn viên giỏi... khi Holmes trở thành một chuyên gia tội phạm."Mặc dù Holmes nổi tiếng với khả năng suy luận, phương pháp điều tra của anh lại phụ thuộc nhiều vào việc thu thập chứng cứ vật lý. Nhiều kỹ thuật mà Holmes sử dụng trong các câu chuyện đều ở thời điểm chúng còn rất sơ khai.