Configuración de fuentes de datos

Las fuentes de datos vienen activadas por el Servicio de atención al cliente y se entregan mediante FTP o Amazon S3.

En esta sección se proporciona una descripción general de las opciones de fuente de datos y del proceso de configuración que solo es necesario realizar una vez.

Entrega de archivos mediante FTP

Los datos de las fuentes de datos se pueden entregar en una ubicación de Adobe o de FTP alojado por el cliente.

Si selecciona que los datos se carguen a su servidor FTP, asegúrese de proporcionar a Adobe el nombre de usuario, la contraseña y la ruta de carga correspondientes. Es responsabilidad suya implementar su propio proceso de gestión del espacio en disco en el servidor, ya que Adobe no elimina ningún dato del servidor.

Entrega de archivos sFTP

Los datos de las fuentes de datos se pueden entregar en una ubicación de Adobe o de FTP alojado por el cliente.

Si selecciona que los datos se carguen a su servidor FTP, asegúrese de proporcionar a Adobe el nombre de usuario y la ruta de carga correspondientes. Es responsabilidad suya implementar su propio proceso de gestión del espacio en disco en el servidor, ya que Adobe no elimina ningún dato del servidor.

Entrega de archivos mediante Amazon S3

Si no quiere preocuparse de gestionar el espacio en disco o de cifrar sus datos, ahora puede cargar sus archivos en un bucket de Amazon S3. Amazon cifrará automáticamente los datos almacenados (en los servidores de Amazon). Cuando se descarguen los datos, estos se descifrarán automáticamente.

Si selecciona cargar los datos mediante Amazon S3, debe proporcionar a Adobe Client Care un nombre de bucket, un ID de clave de acceso, una clave secreta y un nombre de carpeta.

Configuración de BucketOwnerFullControl para las fuentes de datos de Amazon S3

El caso de uso más habitual de Amazon S3 es que el propietario de la cuenta de los servicios web de Amazon (AWS) crea un bucket, a continuación crea un usuario que tiene permiso para crear objetos en ese bucket y, finalmente, proporciona credenciales para ese usuario. En este caso, los objetos de un usuario pertenecen a la misma cuenta y el propietario de la cuenta tiene implícitamente un control total del objeto (leer, eliminar, etc.). Funciona de un modo similar a la entrega por FTP.

AWS también permite a los usuarios crear objetos en un bucket que pertenece a otra cuenta de usuario completamente diferente. Por ejemplo, si dos usuarios de AWS, el usuario A y el usuario B, no pertenecen a la misma cuenta de AWS pero quieren crear objetos en otros buckets. Si el usuario A crea un bucket, por ejemplo el bucket A, este puede crear una política que permita explícitamente que el usuario B cree objetos en el bucket A, aunque el bucket no pertenezca al usuario. Esto puede ser beneficioso porque no es necesario que el usuario A y el usuario B intercambien credenciales. En su lugar, el usuario B proporciona su número de cuenta al usuario A y este crea una política de bucket que diga "permitir al usuario B crear objetos en el bucket A".

BucketOwnerFullControl proporciona derechos a varias cuentas para crear objetos en otros buckets. Si el usuario B carga un objeto al bucket del usuario A, el usuario B todavía "posee" ese objeto y, por defecto, no se han concedido permisos al usuario A sobre ese objeto, aunque el usuario A posea el bucket: los objetos no heredan permisos del bucket primario. El usuario B debe conceder permiso explícitamente al usuario A porque el usuario B sigue siendo el propietario del objeto. Para la carga en varias cuentas, AWS proporciona un BucketOwnerFullControl ACL, especificando que el uso de este ACL por el propietario del bucket (usuario A) tiene permisos concedidos para el objeto (leer, escribir, eliminar, etc.), a pesar de que es el usuario B quien "posee" el objeto.

Las fuentes de datos comunican con las 11 regiones estándar de AWS enumeradas a continuación (haciendo uso del algoritmo de firma pertinente cuando sea necesario):

  • us-east-1
  • us-west-1
  • us-west-2
  • ap-south-1
  • ap-northeast-2
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • eu-central-1
  • eu-west-1
  • sa-east-1

Actualmente no trabajamos con Pekín como región de AWS en China (cn-north-1).

Contenido y formatos de entrega

A diario: se entregan datos de cada día después de procesarlos en un solo archivo zip o en varios archivos zip, cada uno de los cuales contiene aproximadamente 2 GB de datos sin comprimir. Recibe una sola entrega correspondiente a cada día.

Por hora: se entregan datos de cada hora en un solo archivo zip que contiene todos los datos recibidos durante esa hora. Se reciben 24 entregas diferentes cada día y cada archivo se entrega después de procesar los datos de esa hora.

Nota: debido al tamaño potencial de los archivos comprimidos de fuentes de datos, compruebe que su proceso de ETL utiliza un programa de compresión de 64 bits.

Fuentes de datos por hora

Es importante entender que el término "por hora" describe el marco temporal de los datos que se envían con cada exportación de datos, y que no se refiere al marco temporal en el que se realiza la entrega. Las fuentes de datos por hora se procesan y se entregan de la mejor forma posible. Sin embargo, hay varios factores que pueden influir en la hora de entrega de una fuente de datos por hora. Entre otros:

  • Latencia del grupo de informes (es decir, picos de tráfico imprevistos)
  • Procesamiento de subida
  • Horas punta y de poca actividad
  • Velocidad de la conexión a Internet

En el caso de las fuentes de datos por hora, se espera que en el 95 % de los casos la fuente se entregue en un plazo de 12 horas a partir del cierre del volumen de datos de esa hora. Las fuentes de datos de los grupos de informes con un volumen de tráfico elevado pueden tardar más en procesarse y entregarse.

Recibir una fuente de datos por hora no es lo mismo que recibir fuentes diarias con varias entregas de archivos. Si se reciben fuentes de datos por hora, los datos de cada día se dividen en 24 archivos basados en los datos recopilados durante esa hora, y cada archivo se entrega en cuanto está disponible. Una fuente diaria que se entrega en varios archivos se entrega una vez al día después de procesar los datos del día anterior, y se divide en incrementos de 2 GB en función de la cantidad de datos recopilados.

Rellenos de datos para fuentes de datos por hora

Si solicita datos de fechas anteriores al configurar una fuentes de datos por hora, los datos para las fechas de hace más de 60 días podrían entregarse en un formato de día en vez de en formato de hora.

En este caso, no recibirá 24 entregas separadas para estos días, sino que recibirá una entrega única con un tiempo de registro de medianoche que contiene todos los datos para ese día. Si está solicitando este tipo de relleno, asegúrese de que su ETL está configurado para procesar entregas diarias.

Entrega de varios archivos

Cuando se crea la fuente de datos, puede seleccionar una entrega de un solo archivo o de varios archivos. Si define una fuente diaria, le recomendamos que seleccione una entrega de varios archivos, ya que, cuando se comprimen y se descomprimen archivos de tamaño superior a 2 GB, el rendimiento se ve afectado considerablemente. La entrega de varios archivos facilita el procesamiento de datos en paralelo. Los archivos de datos siempre se dividen en un registro completo y se pueden concatenar fácilmente después de la extracción.

Proceso de configuración único

Tarea

Realizado por

Descripción

Seleccionar columnas de datos

El cliente

Revise las columnas de datos del flujo de navegación y determine los datos que quiera recibir. Adobe también proporciona un conjunto de columnas recomendadas que se puede seleccionar.

(Solo para FTP) Seleccione la ubicación del FTP

Compre un bucket S3 desde Amazon

El cliente

Seleccione una ubicación del FTP en la que Adobe debe entregar los archivos de fuente de datos. Si se prefiere, Adobe puede proporcionar alojamiento FTP para los archivos.

Póngase en contacto con el Servicio de atención al cliente de Adobe para configurar la fuente de datos.

El cliente

Póngase en contacto con el Servicio de atención al cliente a través de su Usuario admitido y proporcione:

  • El grupo de informes que contiene los datos que quiere incluir en la fuente.
  • Las columnas que quiere incluir en el conjunto de datos.
  • Si quiere una entrega de datos por día o por hora. Si selecciona por día, seleccione la entrega de un solo archivo o de varios archivos (se recomienda la de varios archivos).
  • (Solo para FTP) Nombre del alojamiento FTP, credenciales y ruta.
  • (Solo para Amazon S3) Nombre del bucket, ID de clave de acceso, clave secreta y nombre de la carpeta.

Proceso de entrega

Tarea

Realizado por

Descripción

Recopilación de datos

Adobe

Las llamadas al servidor se recopilan y se procesan en los servidores de Recopilación de datos de Adobe.

Generación de fuentes

Adobe

Después de procesar los datos correspondientes al período de entrega (la hora o el día anteriores), los datos se exportan a la fuente de datos. La fuente se almacena en formato delimitado y se comprime.

Entrega al cliente

Adobe

Los datos comprimidos se transfieren a Amazon S3 o a un sitio FTP alojado por un cliente o por Adobe. Una vez completado, el archivo de manifiesto (o, en las fuentes antiguas, el archivo .fin) se transfiere y se indica que la entrega se ha realizado.

Descarga de datos

El cliente

El cliente supervisa el S3 o el FTP para localizar el archivo de manifiesto. Este archivo contiene detalles sobre todos los archivos que se han entregado.

Procesamiento del archivo de manifiesto

El cliente

Se lee el archivo de manifiesto y se descarga cada archivo incluido.

Descompresión y procesamiento de los datos

El cliente

Los archivos descargados se descomprimen y se procesan.

Una vez configurada la fuente de datos, vaya a Contenido de las fuentes de datos para entender los archivos qué recibirá.