> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Migration à partir de pandas

> Guide étape par étape pour migrer de pandas vers DataStore

Ce guide vous aide à migrer votre code pandas existant vers DataStore pour de meilleures performances tout en conservant la compatibilité.

<div id="one-line">
  ## La migration en une seule ligne
</div>

La migration la plus simple consiste à modifier votre instruction d’import :

```python theme={null}
# Before (pandas)
import pandas as pd

# After (DataStore)
from chdb import datastore as pd
```

C'est tout ! La plupart du code pandas fonctionne tel quel.

<div id="step-by-step">
  ## Migration étape par étape
</div>

<Steps>
  <Step title="Installer chDB" id="step-1">
    ```bash theme={null}
    pip install "chdb>=4.0"
    ```
  </Step>

  <Step title="Modifier l’import" id="step-2">
    ```python theme={null}
    # Remplacez ceci :
    import pandas as pd

    # Par ceci :
    from chdb import datastore as pd
    ```
  </Step>

  <Step title="Tester votre code" id="step-3">
    Exécutez votre code existant. La plupart des opérations fonctionnent sans modification :

    ```python theme={null}
    from chdb import datastore as pd

    # Tout cela fonctionne de la même façon
    df = pd.read_csv("data.csv")
    result = df[df['age'] > 25]
    grouped = df.groupby('city')['salary'].mean()
    df.to_csv("output.csv")
    ```
  </Step>

  <Step title="Gérer les différences éventuelles" id="step-4">
    Certaines opérations se comportent différemment. Voir [Principales différences](#differences) ci-dessous.
  </Step>
</Steps>

***

<div id="works-unchanged">
  ## Ce qui fonctionne tel quel
</div>

<div id="loading-unchanged">
  ### Chargement des données
</div>

```python theme={null}
# All these work the same
df = pd.read_csv("data.csv")
df = pd.read_parquet("data.parquet")
df = pd.read_json("data.json")
df = pd.read_excel("data.xlsx")
```

<div id="filtering-unchanged">
  ### Filtrage
</div>

```python theme={null}
# Boolean indexing
df[df['age'] > 25]
df[(df['age'] > 25) & (df['city'] == 'NYC')]

# query() method
df.query('age > 25 and salary > 50000')
```

<div id="selection-unchanged">
  ### Sélection
</div>

```python theme={null}
# Column selection
df['name']
df[['name', 'age']]

# Row selection
df.head(10)
df.tail(10)
df.iloc[0:100]
```

<div id="groupby-unchanged">
  ### GroupBy et agrégation
</div>

```python theme={null}
# GroupBy
df.groupby('city')['salary'].mean()
df.groupby(['city', 'dept']).agg({'salary': ['sum', 'mean']})
```

<div id="sorting-unchanged">
  ### Tri
</div>

```python theme={null}
df.sort_values('salary', ascending=False)
df.sort_values(['city', 'age'])
```

<div id="string-unchanged">
  ### Opérations sur les chaînes de caractères
</div>

```python theme={null}
df['name'].str.upper()
df['name'].str.contains('John')
df['name'].str.len()
```

<div id="datetime-unchanged">
  ### Opérations sur DateTime
</div>

```python theme={null}
df['date'].dt.year
df['date'].dt.month
df['date'].dt.dayofweek
```

<div id="io-unchanged">
  ### Opérations d’E/S
</div>

```python theme={null}
df.to_csv("output.csv")
df.to_parquet("output.parquet")
df.to_json("output.json")
```

***

<div id="differences">
  ## Principales différences
</div>

<div id="lazy">
  ### 1. Évaluation différée
</div>

Les opérations de DataStore sont différées : elles ne s’exécutent que lorsque les résultats sont nécessaires.

**pandas:**

```python theme={null}
# Executes immediately
result = df[df['age'] > 25]
print(type(result))  # pandas.DataFrame
```

**DataStore :**

```python theme={null}
# Builds query, doesn't execute yet
result = ds[ds['age'] > 25]
print(type(result))  # DataStore (lazy)

# Executes when you need the data
print(result)        # Triggers execution
df = result.to_df()  # Triggers execution
```

<div id="return-types">
  ### 2. Types de retour
</div>

| Opération         | Renvoyé par pandas | Renvoyé par DataStore |
| ----------------- | ------------------ | --------------------- |
| `df['col']`       | Series             | ColumnExpr (différé)  |
| `df[['a', 'b']]`  | DataFrame          | DataStore (différé)   |
| `df[condition]`   | DataFrame          | DataStore (différé)   |
| `df.groupby('x')` | GroupBy            | LazyGroupBy           |

<div id="no-inplace">
  ### 3. Aucun paramètre `inplace`
</div>

DataStore ne prend pas en charge `inplace=True`. Utilisez toujours la valeur de retour :

**pandas:**

```python theme={null}
df.drop(columns=['col'], inplace=True)
```

**DataStore:**

```python theme={null}
ds = ds.drop(columns=['col'])  # Assign the result
```

<div id="comparing">
  ### 4. Comparer les DataStores
</div>

pandas ne reconnaît pas les objets DataStore ; utilisez donc `to_pandas()` pour les comparer :

```python theme={null}
# This may not work as expected
df == ds  # pandas doesn't know DataStore

# Do this instead
df.equals(ds.to_pandas())
```

<div id="row-order">
  ### 5. Ordre des lignes
</div>

DataStore peut ne pas préserver l’ordre des lignes pour les sources de type fichier (comme les bases de données SQL). Utilisez un tri explicite :

```python theme={null}
# pandas preserves order
df = pd.read_csv("data.csv")

# DataStore - use sort for guaranteed order
ds = pd.read_csv("data.csv")
ds = ds.sort('id')  # Explicit ordering
```

***

<div id="patterns">
  ## Schémas de migration
</div>

<div id="pattern-1">
  ### Schéma 1 : lecture-analyse-écriture
</div>

```python theme={null}
# pandas
import pandas as pd
df = pd.read_csv("data.csv")
result = df[df['amount'] > 100].groupby('category')['amount'].sum()
result.to_csv("output.csv")

# DataStore - same code works!
from chdb import datastore as pd
df = pd.read_csv("data.csv")
result = df[df['amount'] > 100].groupby('category')['amount'].sum()
result.to_csv("output.csv")
```

<div id="pattern-2">
  ### Schéma 2 : DataFrame avec pandas
</div>

Si vous avez besoin de fonctionnalités propres à pandas, effectuez la conversion à la fin :

```python theme={null}
from chdb import datastore as pd

# Fast DataStore operations
ds = pd.read_csv("large_data.csv")
ds = ds.filter(ds['date'] >= '2024-01-01')
ds = ds.filter(ds['amount'] > 100)

# Convert to pandas for specific features
df = ds.to_df()
df_pivoted = df.pivot_table(...)  # pandas-specific
```

<div id="pattern-3">
  ### Schéma 3 : workflow mixte
</div>

```python theme={null}
from chdb import datastore as pd
import pandas

# Start with DataStore for fast filtering
ds = pd.read_csv("huge_file.csv")  # 10M rows
ds = ds.filter(ds['year'] == 2024)  # Fast SQL filter
ds = ds.select('col1', 'col2', 'col3')  # Column pruning

# Convert for pandas-specific operations
df = ds.to_df()  # Now only ~100K rows
result = df.apply(complex_custom_function)  # pandas
```

***

<div id="performance">
  ## Comparaison des performances
</div>

DataStore est nettement plus rapide sur de grands jeux de données :

| Opération         | pandas  | DataStore | Gain de vitesse |
| ----------------- | ------- | --------- | --------------- |
| GroupBy count     | 347ms   | 17ms      | **19.93x**      |
| Pipeline complexe | 2,047ms | 380ms     | **5.39x**       |
| Filter+Sort+Head  | 1,537ms | 350ms     | **4.40x**       |
| GroupBy agg       | 406ms   | 141ms     | **2.88x**       |

*Benchmark sur 10 M de lignes*

***

<div id="troubleshooting">
  ## Dépannage de la migration
</div>

<div id="issue-op">
  ### Problème : l’opération ne fonctionne pas
</div>

Certaines opérations pandas peuvent ne pas être prises en charge. Vérifiez les points suivants :

1. L’opération figure-t-elle dans la [liste de compatibilité](/docs/fr/chdb/datastore/pandas-compat) ?
2. Essayez d’abord de convertir en pandas : `ds.to_df().operation()`

<div id="issue-results">
  ### Problème : résultats différents
</div>

Activez la journalisation de débogage pour comprendre ce qui se passe :

```python theme={null}
from chdb.datastore.config import config
config.enable_debug()

# View the SQL being generated
ds.filter(ds['x'] > 10).explain()
```

<div id="issue-slow">
  ### Problème : lenteurs
</div>

Vérifiez votre schéma d’exécution :

```python theme={null}
# Bad: Multiple small executions
for i in range(1000):
    result = ds.filter(ds['id'] == i).to_df()

# Good: Single execution
result = ds.filter(ds['id'].isin(ids)).to_df()
```

<div id="issue-types">
  ### Problème : incompatibilités de types
</div>

DataStore peut inférer les types différemment :

```python theme={null}
# Check types
print(ds.dtypes)

# Force conversion
ds['col'] = ds['col'].astype('int64')
```

***

<div id="gradual">
  ## Stratégie de migration progressive
</div>

<div id="week-1">
  ### Semaine 1 : tester la compatibilité
</div>

```python theme={null}
# Keep both imports
import pandas as pd
from chdb import datastore as ds

# Compare results
pdf = pd.read_csv("data.csv")
dsf = ds.read_csv("data.csv")

# Verify they match
assert pdf.equals(dsf.to_pandas())
```

<div id="week-2">
  ### Semaine 2 : passez aux scripts simples
</div>

Commencez par des scripts qui :

* lisent de gros fichiers
* effectuent du filtrage et de l’agrégation
* n’utilisent pas de fonctions apply personnalisées

<div id="week-3">
  ### Semaine 3 : Gérer les cas complexes
</div>

Pour les scripts avec des fonctions personnalisées :

```python theme={null}
from chdb import datastore as pd

# Let DataStore handle the heavy lifting
ds = pd.read_csv("data.csv")
ds = ds.filter(ds['year'] == 2024)  # SQL

# Convert for custom work
df = ds.to_df()
result = df.apply(my_custom_function)
```

<div id="week-4">
  ### Semaine 4 : Migration complète
</div>

Modifiez tous les scripts pour utiliser l’import DataStore.

***

<div id="faq">
  ## FAQ
</div>

<div id="faq-both">
  ### Puis-je utiliser à la fois pandas et DataStore ?
</div>

Oui ! Vous pouvez passer librement de l’un à l’autre :

```python theme={null}
from chdb import datastore as ds
import pandas as pd

# DataStore to pandas
df = ds_result.to_pandas()

# pandas to DataStore  
ds = ds.DataFrame(pd_result)
```

<div id="faq-tests">
  ### Mes tests réussiront-ils toujours ?
</div>

La plupart des tests devraient réussir. Pour les tests de comparaison, convertissez au format pandas :

```python theme={null}
def test_my_function():
    result = my_function()
    expected = pd.DataFrame(...)
    pd.testing.assert_frame_equal(result.to_pandas(), expected)
```

<div id="faq-jupyter">
  ### Puis-je utiliser DataStore dans Jupyter ?
</div>

Oui ! DataStore fonctionne dans les notebooks Jupyter :

```python theme={null}
from chdb import datastore as pd

ds = pd.read_csv("data.csv")
ds.head()  # Displays nicely in Jupyter
```

<div id="faq-issues">
  ### Comment signaler des problèmes ?
</div>

Si vous constatez des problèmes de compatibilité, signalez-les ici :
[https://github.com/chdb-io/chdb/issues](https://github.com/chdb-io/chdb/issues)