Fujitsu Laboratories Ltd. ha anunciado el desarrollo de Dracena (arquitectura de procesamiento EveNt constante asíncrona y dinámicamente reconfigurable), una arquitectura de procesamiento de flujo que puede agregar o cambiar contenido mientras procesa grandes volúmenes de datos IoT sin detenerse.
Con los recientes avances en las tecnologías de IoT, se espera que se produzcan muchos servicios en tiempo real para utilizar los grandes volúmenes de datos que fluyen a la nube desde varios dispositivos en fábricas, hogares e infraestructura social. En la progresión hacia la conducción autónoma con automóviles conectados, los investigadores están considerando el análisis de la gran cantidad de información, como la velocidad y la ubicación, generada a partir de vehículos, que luego se pueden presentar a los conductores, en forma de advertencias, por ejemplo.
La tecnología de procesamiento de flujo, que es efectiva en el procesamiento a alta velocidad de este tipo de grandes volúmenes de datos, tiene problemas porque el procesamiento debe detenerse temporalmente al cambiar o agregar contenido de procesamiento de acuerdo con adiciones o mejoras a los servicios, y la provisión de los servicios pueden retrasarse.
Ahora, Fujitsu ha desarrollado una nueva arquitectura de procesamiento de flujo que cambia automáticamente a un nuevo programa de procesamiento de datos cuando se ha completado una tarea de procesamiento de datos paralelizado, separando el procesamiento de flujo en procesamiento de recepción de datos y procesamiento de datos actual, para que el procesamiento de recepción de datos y el procesamiento actual de datos no se detengan (patente pendiente). Como resultado, en una simulación de la recepción de unas pocas docenas de bytes de datos por segundo de un millón de vehículos, Fujitsu ha confirmado que esta arquitectura es capaz de continuar procesando datos de transmisión mientras agrega o cambia programas de procesamiento, con un aumento medio de los volúmenes de espera de cinco milisegundos o menos.
Fujitsu Laboratories busca comercializar esta tecnología durante el año fiscal 2018 en la plataforma Mobility IoT, ofrecida por Fujitsu Limited, y ampliarla a otras áreas de la industria.
Los detalles de esta tecnología se presentaron en DEIM2018 (el Foro sobre Ingeniería de Datos y Gestión de la Información), una conferencia que se celebró en Awara, Prefectura de Fukui, Japón, desde el 4 de marzo.

Antecedentes de desarrollo
Con el desarrollo reciente de las tecnologías IoT, se han comenzado a recopilar datos de todo tipo de objetos y se han recopilado en centros de datos, y se espera que al analizar y utilizar esto, se crearán  servicios nuevos. En el caso de los automóviles conectados, por ejemplo, se cree que al recopilar, analizar y utilizar datos de automóviles en tiempo real, será posible aliviar la congestión, ayudar a los conductores y mejorar la seguridad de la conducción autónoma (figura 1) .

Cuestiones
Para procesar rápidamente los datos, como la velocidad y la ubicación, que se generan de segundo a segundo por un gran número de automóviles en movimiento, el método más eficaz es construir un sistema que utilice el procesamiento de flujo para procesar datos en paralelo, basado en automóvil-automóvil. Para agregar o cambiar el programa de procesamiento de acuerdo con las incorporaciones y mejoras del servicio, el método actual implica preparar dos sistemas de la misma escala por adelantado, utilizando uno para las operaciones, realizar cambios en el otro y luego intercambiarlos rápidamente. Sin embargo, este método requería que ambos sistemas se detuvieran temporalmente, mientras que los datos, como la velocidad o la posición de un automóvil, se guardaban en la memoria del sistema en uso y se copiaban en el sistema revisado. Esto dificultaba la producción de servicios que requerían operaciones realmente continuas, como la transmisión en tiempo real de advertencias a los automóviles conectados.

Además, debido a que se obtuvieron nuevos programas de procesamiento de la base de datos, conocidos como repositorios, la congestión resultó con las numerosas consultas de grandes volúmenes de unidades de procesamiento, lo que retrasó el procesamiento general.

Detalles de la tecnología recién desarrollada
Ahora, Fujitsu Laboratories ha desarrollado Dracena, una arquitectura que puede modificar los programas de procesamiento de un sistema mientras está en funcionamiento, sin detener las operaciones.
Con esta tecnología, al cambiar o agregar contenido de procesamiento de datos, esta arquitectura distribuye el nuevo programa de procesamiento de datos como un mensaje, de la misma manera que se distribuyen los datos, a cada unidad de procesamiento individual, llamada objeto, como la unidad de procesamiento para cada automóvil. Esto elimina el impacto en la velocidad de procesamiento general debido a la concentración de consultas en el repositorio. Además, al separar el procesamiento de recepción de mensajes "intra-object" y el procesamiento de datos en esta arquitectura, el sistema puede agregar el nuevo programa de procesamiento de datos sin detener el procesamiento de recepción de mensajes o el procesamiento de datos existente, y luego hacer que todos los objetos cambien al nuevo programa de procesamiento de datos con el mismo tiempo. Esto ha permitido a Fujitsu Laboratories crear una arquitectura de procesamiento de flujo en la cual el programa de procesamiento de datos puede agregarse o modificarse sin detenerse, para continuar el procesamiento paralelizado sin retener el flujo de grandes volúmenes de datos para copiar (figura 2).

Efectos
Los resultados de una evaluación simulada confirmaron que, en un caso de uso en el que se transmiten unas pocas docenas de bytes de datos de un millón de vehículos una vez por segundo, esta arquitectura era capaz de proporcionar continuamente servicios al agregar un servicio de detección de frenado brusco en una situación donde el sistema ya estaba proporcionando un servicio para detectar tiempos de conducción excesivos, con un volumen medio de aumento de retraso de cinco milisegundos o menos. Esta arquitectura permitirá la prestación rápida de servicios en tiempo real que requieren un funcionamiento ininterrumpido y que pueden responder a problemas que ocurren en la sociedad, incluida la asistencia de conducción para automóviles conectados, el uso de electrodomésticos con ahorro de energía, monitorización de salud y seguridad en el hogar, y proporcionar orientación de viaje para turistas que usan teléfonos inteligentes.

Además, esta arquitectura permite a los usuarios adoptar un método de compilación en el cual primero construyen un sistema base dirigido a análisis y utilización simple, y luego gradualmente agregan nuevos servicios. Usando esta tecnología en el caso de automóviles, por ejemplo, sería posible comenzar con un sistema que lea señales de conducir ebrio basado en los datos de operación del volante y luego agregar nuevos servicios capa por capa, como combinar esto con los datos del mapa para detectar vientos cruzados en las salidas del túnel, o combinándolo con datos de imágenes para detectar la presencia de autos estacionados ilegalmente, lo que se puede esperar que mejore la eficiencia del desarrollo del servicio.

Planes futuros
Fujitsu pretende comercializar esta tecnología durante el año fiscal 2018 como un elemento constitutivo de la plataforma Mobility IoT ofrecida por Fujitsu Limited. Además, Fujitsu busca ampliar esta tecnología más allá del campo de la movilidad a las áreas comerciales que requieren servicios en tiempo real basados ​​en datos que se generan continuamente a una frecuencia alta, como proporcionar indicaciones a las personas durante los eventos o en situaciones de desastre.

Más información