WhichFrame: una herramienta con IA para encontrar contenido en vídeos usando palabras claves

La inteligencia artificial se usa actualmente para muchos procesos tecnológicos. Ahora, un hilo de Twitter ha dejado al descubierto su aplicación en la búsqueda semántica aplicada a vídeos. Algo bastante innovador y que nos evitaría ver un vídeo completo para encontrar una escena o imagen específica dentro de él.

Esto se suma a la multitud de aplicaciones que están apareciendo y que hacen uso de sistemas de aprendizaje automático. Un tipo de tecnología que promete facilitar muchas tareas al ser humano.

En el siguiente artículo te hablamos de la noticia y profundizamos en el uso de la IA en las búsquedas de internet y otras plataformas.

Qué es la búsqueda semántica

La búsqueda semántica es el sistema que nos permite buscar contenido en internet usando palabras y frases. Este sistema es usado por los grandes buscadores como Google, Bing o DuckDuckGo y se basa, principalmente, en la combinación de las palabras. Al aplicar este sistema, activamos ciertos algoritmos que permiten indexar la información relacionada con lo que estamos buscando.

Sin embargo, este tipo de búsqueda no solo es utilizada por los buscadores. También la usan programas y aplicaciones en donde es necesario encontrar contenido específico dentro de bases de datos más grandes. De esta forma, al introducir frases o palabras relacionadas con lo que buscamos, podemos encontrar el fragmento de información que necesitamos. Esto, sin necesidad de revisar toda la base de datos.

Dicho en palabras de a pie, el sistema de búsqueda semántica es como el índice de un libro. Nos permite acceder a ciertos datos de un libro, pero sin necesidad de leer todo el libro.

Redes semánticas e inteligencia artificial

Las redes semánticas son el nombre que reciben los mapas conceptuales en donde muchas palabras se relacionan entre sí. Estos mapas permiten profundizar el saber y enriquecer el lenguaje. Algo clave para saber cómo y dónde buscar, en medio de enormes cantidades de información.

Las redes semánticas están compuestas por nodos (palabras) y ramas o arcos, que son los que unen los nodos entre sí. De esta forma se forma un grafo, que es la expresión visual de estas redes.

Este tipo de redes son esenciales para los algoritmos de búsqueda de programas basados en inteligencia artificial. Esto, porque permiten al sistema crear correlaciones entre distintos conceptos. Lo que, literalmente, hace que el sistema aprenda sobre los criterios de búsqueda, mejorando así sus resultados.

De hecho, esa es la forma en que funciona Google. Nosotros escribimos en el cuadro de búsqueda una palabra o conjunto de palabras y el buscador echa andar una búsqueda semántica, identificando las palabras y conceptos que guardan relación con los datos que hemos introducido inicialmente.

Aplicando búsqueda semántica en vídeos

Una de las últimas aplicaciones descubiertas de la búsqueda semántica es su uso para encontrar imágenes específicas en vídeos. Algo que evitaría mirar el contenido completo del mismo para, por ejemplo, saber en qué momento aparecen un coche o unas gafas.

Gracias a la combinación de este sistema de búsqueda y la red neuronal CLIP de OpenAI, ha sido posible montar la página web whichframe.com. En ella, los usuarios pueden subir vídeos y probar la herramienta. Es decir, pueden escribir en una barra de búsqueda lo que desean encontrar en el vídeo, para que la red neuronal lo pueda encontrar y mostrar en forma de imágenes.

El creador de este sistema es David Chuan-en Lin, estudiante de doctorado del CMU Human-Computer Interaction Institute. Un centro de estudios dedicado al desarrollo de tecnologías que mejoran la experiencia del ser humano.

Lo interesante de este descubrimiento es la forma en que la inteligencia artificial puede ser aplicada para refinar aún más los sistemas de búsqueda. Algo que, eventualmente, podrían adoptar los grandes buscadores como Google o Bing. También podría ser utilizado de manera nativa en programas de edición de vídeo, para trabajar sobre fragmentos o escenas específicas con mucha más rapidez y eficiencia.

La creación de David Chuan-en Lin se puede revisar en el hilo de Twitter de su cuenta @chuanenlin. Allí se pueden ver algunos ejemplos de la búsqueda semántica en vídeos y también se puede acceder directamente al enlace de la web que ha montado para hacer las pruebas pertinentes.

Imagen de Pexels en Pixabay