Thuật ngữ “Tra cứu thông tin” được đưa ra vào năm 1952 và đã giành được sự quan tâm đặc biệt của hội các nhà nghiên cứu từ năm 1961[Jones and Willet, 1977]. Chúng ta có thể dễ dàng mô tả một hệ thống tra cứu thông tin như là một hệ thống lưu trữ và tra cứu thông tin. Như là một hệ thống, vì vậy nó gồm một tập hợp các thành phần tương tác lẫn nhau, mỗi thành phần được thiết kế cho một chức năng riêng, có mục đích riêng và tất các các thành phần này có quan hệ với nhau để đạt được mục đích là tìm kiếm thông tin trong một phạm vi nào đó. Trước đây, tra cứu thông tin có nghĩa là tra cứu thông tin theo kết cấu, nhưng định nghĩa trên vẫn được giữ khi ứng dụng vào việc tra cứu thông tin thị giác(VIR-Visual Infomation Retrieval). Mặc dù vậy vẫn có sự phân biệt giữa kiểu của thông tin và nét tự nhiên của tra cứu của văn bản và các đối tương trực quan. Thông tin kết cấu là tuyến tính trong khi ảnh là hai chiều và video là ba chiều. Một cách chính xác hơn là văn bản được cung cấp với một điểm bắt đầu và kết thúc vốn có và với một chuỗi phân tích cú pháp tự nhiên. Chiến lược phân tích cú pháp tự nhiên như vậy không thích hợp với ảnh và video.