Comment utiliser efficacement UNION ALL BY NAME dans BigQuery SQL ?

UNION ALL BY NAME révolutionne les opérations UNION ALL dans BigQuery en alignant automatiquement les colonnes par leur nom, pas leur position. Fini les erreurs classiques dues à l’ordre des colonnes, un vrai gain de temps et de robustesse dans vos requêtes SQL (source : documentation officielle Google Cloud).

3 principaux points à retenir.

Évite les erreurs courantes dues au mauvais ordre des colonnes lors d’un UNION ALL classique.
Aligne automatiquement les colonnes par leur nom, pas leur position, simplifiant l’écriture de requêtes complexes.
Gagne en lisibilité et maintenance grâce à des requêtes plus robustes et moins sujettes aux bugs.

Qu’est-ce que UNION ALL BY NAME et pourquoi ça change la donne ?

Pour comprendre UNION ALL BY NAME, il faut d’abord jeter un œil à l’opération classique de UNION ALL. En gros, cette fonction est conçue pour combiner les résultats de plusieurs requêtes SQL en une seule. Le hic, c’est que UNION ALL aligne les colonnes par leur position, pas par leur nom. Ce qui peut rapidement devenir un cauchemar si les ordres de colonnes ne sont pas identiques dans toutes les requêtes.

Imaginons un exemple concret : Disons que vous avez deux tables, table_A et table_B. table_A a des colonnes ID, Nom, et Ages, tandis que table_B a les colonnes Nom, Ages, et ID. Si vous exécutez un UNION ALL classique :


SELECT ID, Nom, Ages FROM table_A
UNION ALL
SELECT Nom, Ages, ID FROM table_B;

La requête va échouer ou renvoyer des résultats imprévus, car les colonnes ne sont pas alignées de la même manière. Vous n’obtenez pas les données que vous attendiez simplement parce que l’ordre ne correspond pas.

C’est ici qu’intervient UNION ALL BY NAME. Cette fonction permet d’harmoniser les résultats en alignant les colonnes par leur nom. C’est comme avoir un GPS qui s’assure que vous êtes toujours dans la bonne direction, peu importe combien de détours vous prenez.

La requête pourrait alors ressembler à ceci :


SELECT * FROM table_A
UNION ALL BY NAME
SELECT * FROM table_B;

Avec UNION ALL BY NAME, même si les colonnes sont dans un ordre différent, la requête fusionnera les résultats en se basant sur les noms des colonnes. La simplicité et la clarté que cette fonctionnalité apporte sont indéniables, surtout dans des environnements BigQuery où les données sont souvent complexes et diversifiées.

Avec UNION ALL BY NAME, regardez la façon dont cela change la donne : vous évitez des erreurs poignantes, améliorez la lisibilité de votre code, et gagnez du temps. Pour les développeurs travaillant avec de gros volumes de données, c’est un vrai changement de paradigme.

Comment utiliser UNION ALL BY NAME dans vos requêtes BigQuery efficacement ?

Pour utiliser efficacement UNION ALL BY NAME dans BigQuery, commencez par comprendre sa syntaxe. Le principe repose sur la fusion de résultats de différentes tables en s’assurant que les colonnes sont correctement alignées selon leur nom. Voici une requête complète qui illustre cela :

SELECT * FROM table1
UNION ALL BY NAME
SELECT * FROM table2;

Avant de plonger dans les détails, respectez ces règles essentielles :

Correspondance exacte des noms de colonnes : Les colonnes doivent porter les mêmes noms dans les différentes tables pour être fusionnées.
Compatibilité des types de données : Vous devez vous assurer que les types de données correspondants sont compatibles entre les colonnes. Par exemple, ne mélangez pas des chaînes de caractères et des nombres dans la même colonne.
Limitations éventuelles : Notez que UNION ALL BY NAME ne fonctionne pas si les colonnes de vos tables ne correspondent pas de manière explicite en termes de nom et de type.

Voyons un exemple concret où deux tables au format désordonné fusionnent sans problème grâce à UNION ALL BY NAME. Supposons que vous ayez :

table1
| id | nom      | age |
|----|----------|-----|
| 1  | Alice    | 30  |
| 2  | Bob      | 25  |

table2
| age | id | nom  |
|-----|----|------|
| 28  | 3  | Charles|
| 22  | 4  | David  |

Ici, bien que l’ordre soit différent, la requête suivante fonctionnera :

SELECT * FROM table1
UNION ALL BY NAME
SELECT * FROM table2;

Les résultats seront fusionnés proprement. Cependant, UNION ALL BY NAME ne sera pas accessible si les colonnes n’ont même pas les mêmes noms ou si vous avez des colonnes manquantes dans l’une des tables. En cas de noms presque identiques mais pas identiques, attendez-vous à des erreurs de type ‘colonne non trouvée’.

Pour éviter les pièges, voici quelques bonnes pratiques :

Vérifiez toujours l’orthographe des noms de colonnes.
Utilisez l’option CAST pour assurer que les types de données sont compatibles.
Évitez d’utiliser des caractères spéciaux dans les noms de colonnes qui pourraient causer de la confusion.

Quels avantages concrets apporte UNION ALL BY NAME dans les projets data et business ?

Alors, quels bénéfices réels apporte UNION ALL BY NAME dans les projets data et business ? Mettons les cartes sur table.

Gain de temps : Vous pouvez éviter d’écrire des requêtes complexes, surtout dans des environnements où le schéma change fréquemment. Moins de temps passé à coder, plus de temps pour analyser.
Réduction des erreurs humaines : En évitant d’aligner manuellement les colonnes, le risque de faire des erreurs de typographie ou de désignations est réduit. C’est tout bénèf pour la fiabilité des données.
Mieux maintenable : Quand les schémas varient, votre code peut rester propre et lisible. Pas de réécriture d’un cet ancien script, juste quelques ajustements. Pratique, non ?
Robustesse avec les schémas évolutifs : Dans des domaines comme le marketing digital, où les outils et les rapports changent sans cesse, l’UNION ALL BY NAME permet d’adapter vos requêtes aux nouvelles colonnes sans trop de tracas.

Un exemple concret ? Prenons Google Analytics BigQuery Export. Imaginez que vous regroupez des données d’utilisateurs en fonction de leurs interactions sur différentes pages. Avec les modifications fréquentes de l’outil d’analyse, un code d’UNION ALL BY NAME vous permettra d’ajouter ou de modifier des colonnes sans détruire le tout. Vous ajoutez simplement la nouvelle colonne dans votre rapport, et voilà, tout est en ordre sans trop d’efforts.

Critères	UNION ALL Classique	UNION ALL BY NAME
Facilité d’usage	Complexe si les schémas changent	Simple et direct
Risque d’erreur	Élevé avec équilibrage manuel	Minime, pas de correspondance manuelle
Maintenance	Fréquent et délicat	Évolutif et fluide
Performance	Standard selon le volume de données	Optimale si bien configuré

Pour finir, une mise en garde : même si UNION ALL BY NAME simplifie la vie, il est crucial de s’assurer que les noms de colonnes correspondent parfaitement entre les tables. Une seule incohérence pourrait mener à des résultats erronés. Rester vigilant est clé !

Quelles alternatives à UNION ALL BY NAME dans BigQuery et quand les utiliser ?

Lorsque vous travaillez avec BigQuery, il est essentiel de connaître les différentes méthodes pour fusionner des résultats. UNION ALL par nom n’est pas toujours l’outil idéal. Voici quelques alternatives que vous devriez envisager.

UNION ALL classique: Utilisez cette version si vous êtes sûr que toutes vos requêtes retournent le même nombre et le même type de colonnes. En effet, UNION ALL combine les résultats sans supprimer les doublons. Si vous avez des colonnes absentes dans certaines requêtes, cela peut engendrer des erreurs. Par exemple :

SELECT name, age FROM table1
UNION ALL
SELECT name, age FROM table2;

JOIN: Lorsque vous devez combiner des données en fonction d’une clé commune, il n’y a pas de place pour une approche par union. Les JOINs sont idéaux si vous souhaitez récupérer des colonnes spécifiques de plusieurs tables. Par exemple :

SELECT a.name, b.age
FROM table1 a
JOIN table2 b ON a.id = b.id;

UNION DISTINCT: Utilisez UNION DISTINCT lorsque la déduplication est cruciale. Si vous souhaitez obtenir un ensemble de résultats sans doublons, cette option est incontournable. Par exemple :

SELECT name FROM table1
UNION DISTINCT
SELECT name FROM table2;

Gardez à l’esprit que chaque méthode a ses limitations. Par exemple, si votre jeu de données provient de sources variées avec des structures différentes, UNION ALL BY NAME pourrait convenir à la plupart des cas, mais ne gérera pas bien les colonnes manquantes. Dans ce cas, préférez les JOINs ou assurez-vous d’harmoniser vos schémas avant d’effectuer votre union.

Pour maximiser l’efficacité de vos requêtes, envisagez de combiner UNION ALL BY NAME avec d’autres fonctionnalités de BigQuery, comme les fonctions analytiques ou les sous-requêtes. Cela vous permettra de tirer le meilleur parti de votre structure de données et d’optimiser vos performances. En résumé, choisissez la méthode d’union qui correspond le mieux à votre besoin métier et à la structure de vos données.

Alors, prêt à simplifier vos merges SQL avec UNION ALL BY NAME ?

UNION ALL BY NAME casse enfin la routine infernale d’ajuster à la main l’ordre des colonnes dans vos requêtes BigQuery. Cette fonctionnalité apporte précision, confort et fiabilité dans le traitement des données issues de multiples sources, notamment quand les schémas évoluent. En adoptant UNION ALL BY NAME, vous réduisez les bugs inutiles et facilitez la maintenance de vos scripts SQL, avec un impact direct sur la productivité data. Toutefois, restez vigilant sur la compatibilité des types et la conformité des noms pour éviter les pièges. C’est une évolution incontournable pour tout professionnel data exigeant.

FAQ

Qu’est-ce que la fonctionnalité UNION ALL BY NAME dans BigQuery ?

UNION ALL BY NAME est une fonctionnalité de BigQuery qui permet de fusionner les résultats de plusieurs requêtes SQL en alignant les colonnes par leur nom, indépendamment de leur ordre dans le SELECT, évitant ainsi les erreurs courantes de mauvais alignement.

Quels sont les prérequis pour utiliser UNION ALL BY NAME ?

Les colonnes des requêtes doivent porter exactement les mêmes noms et être de types compatibles. La correspondance se fait uniquement sur les noms, pas sur la position, ce qui requiert de s’assurer que les noms sont identiques et cohérents.

Est-ce que UNION ALL BY NAME impacte les performances ?

L’utilisation de UNION ALL BY NAME a un impact minimal sur les performances, comparable à un UNION ALL classique. Le gain principal est la réduction des erreurs et de la complexité, sans coût de calcul significatif supplémentaire.

Peut-on utiliser UNION ALL BY NAME avec des colonnes manquantes ?

Non. Toutes les colonnes prévues dans la fusion doivent être présentes et nommées dans les deux requêtes. Otherwise, la fonction ne pourra pas effectuer correctement la jointure par nom.

Comment UNION ALL BY NAME améliore-t-il la maintenance des requêtes SQL ?

En supprimant la contrainte sur l’ordre des colonnes, UNION ALL BY NAME rend les requêtes plus lisibles, moins sujettes aux erreurs humaines lors des évolutions schema, et simplifie le travail de maintenance et d’évolution des pipelines SQL.

Franck Scandolera

⭐ Analytics engineer, Data Analyst et Automatisation IA indépendant ⭐

Ref clients : Logis Hôtel, Yelloh Village, BazarChic, Fédération Football Français, Texdecor…

Mon terrain de jeu :

Data Analyst & Analytics engineering : tracking avancé (GTM server, e-commerce, CAPI, RGPD), entrepôt de données (BigQuery, Snowflake, PostgreSQL, ClickHouse), modèles (Airflow, dbt, Dataform), dashboards décisionnels (Looker, Power BI, Metabase, SQL, Python).
Automatisation IA des taches Data, Marketing, RH, compta etc : conception de workflows intelligents robustes (n8n, App Script, scraping) connectés aux API de vos outils et LLM (OpenAI, Mistral, Claude…).
Engineering IA pour créer des applications et agent IA sur mesure : intégration de LLM (OpenAI, Mistral…), RAG, assistants métier, génération de documents complexes, APIs, backends Node.js/Python.