Comment obtenir plus de 200 000 lignes via un export Data Query ?

Les exports au format .csv depuis Data Query sont limités par défaut à 200 000 lignes.
Si vous avez souscrit à l'option Data Flow, cette limite est automatiquement portée à 1 000 000 de lignes pour les exports Data Query.

Important : limite de lignes pour l'API (non contournable)

L'API Data Query est limitée à 200 000 lignes par requête, et cette limite ne peut pas être dépassée, même en utilisant la pagination (par exemple, en récupérant 10 000 lignes par page).
La pagination reste utile pour récupérer des résultats jusqu'à la limite (typiquement max-results=10000 sur un maximum de 20 pages), mais elle ne permettra pas de dépasser les 200 000 lignes pour une seule requête.

Comment exporter plus de 200 000 lignes sans options supplémentaires

Si vous n'avez pas souscris à une option complémentaire, vous pouvez exporter plus de 200 000 lignes en fractionnant votre extraction en plusieurs requêtes, par exemple en :

• Découpant votre période d'analyse en plages de dates plus petites (jour par jour, semaine par semaine, etc.)

• Utilisant un filtre temporel plus fin (généralement la propriété Heure) pour exporter un sous-ensemble de la journée (par ex., heures 0-8, puis 9-17, puis 18-23)

Après avoir téléchargé chaque fichier, vous pouvez combiner les CSV dans l'outil de votre choix (Excel, une base de données, ou un processus ETL).

Options payantes pour les exports à grande échelle

Pour des exports réguliers ou très volumineux, Piano propose des produits conçus pour l'extraction massive de données :

• Data Flow : Introduction & Schéma de données
  Conçu pour des exports récurrents et volumineux de données granulaires (quasi-brutes) vers des destinations comme FTP, Amazon S3 ou Google Cloud Storage. Ces données nécessitent généralement un traitement en aval dans votre propre environnement.

• Data Sharing : Introduction, Schéma de données et Accès
  Offre un accès direct à la base de données sous-jacente (Snowflake) pour que vous puissiez interroger les données avec SQL dans vos propres workflows.

• Exports Data Query Premium :
  Option payante qui supprime la limite de lignes pour les exports de fichiers Data Query. Cette option ne supprime pas le plafond de 200 000 lignes pour les requêtes API, mais elle permet en complément des exports Data Query horaires.

Toutes les options mentionnées ici sont payantes. Contactez votre Account Manager ou notre Centre Support pour confirmer la disponibilité dans votre contrat, les tarifs et les étapes d'activation.