Home / Questions / 96541
Accepted
Jorge Ponti
Asked: 2020-08-23 04:56:49 +0800 CST 2020-08-23 04:56:49 +0800 CST

Фильтровать данные при загрузке CSV с помощью Pandas

  • 772

Я загружаю очень большие файлы CSV, в которых есть информация, которую я не использую. Что я сейчас делаю, так это перехожу к спискам, а затем фильтрую по условиям.

Например, в одном столбце у меня есть «A» и «B», но мне нужны только те строки, в которых есть «A», поэтому я отфильтровываю «B» и делаю это для всех других списков, которые я загружаю из Pandas. Я думаю, что то, что я делаю, очень неэффективно: загружать с помощью Pandas, а затем преобразовывать столбцы в списки для их фильтрации.

Есть ли более эффективный способ фильтрации данных. Я загружаю данные следующим образом в Pandas:

   import pandas as pd
   df = pd.read_csv('C:\\Users\\4209456\\Downloads\\TECNICO\\BBDD FD.csv', header=0, sep=';',parse_dates = ['Date'],dayfirst = True)

а затем я создаю списки некоторых столбцов:

   FD=df["FD Text"]
   Fecha=pd.to_datetime(df["Date"],dayfirst = True)

Следовательно, для обоих списков фильтров в соответствии с условием списка «FD» создается другой список «FD2», в рамках условия у меня есть список «Дата», создающий исправленный список «Дата2». Таким образом, у меня есть списки, необходимые для запуска моего кода, а именно «FD2» и «Date2», сохраняющие исходные позиции данных, оставшихся после фильтра.

python

1 Answers

  1. Best Answer

    Существует несколько способов фильтрации строк в Pandas, самый простой — создать маску (логический массив) с использованием условного выражения для рассматриваемого столбца, а затем отфильтровать с его помощью строки Dataframe. В основном это процедура, используемая в NumPy для фильтрации массивов. Это известно как логическое индексирование .

    Мы можем создать небольшой пример, чтобы увидеть это:

    import pandas as pd
from io import StringIO

data = StringIO('''
Nombre,Edad,Sexo,Fecha
Juan,12,M,20/08/2017
Laura,21,F,24/07/2017
Pedro,53,M,13/01/2017
María,17,F,15/03/2017
Luís,19,M,15/07/2017
Miguel,23,M,14/08/2017
''')

df = pd.read_csv(data, header=0, parse_dates = ['Fecha'], dayfirst = True)

    Таким образом, у нас есть следующий Dataframe:

    >>> df

   Nombre  Edad Sexo      Fecha
0    Juan    12    M 2017-08-20
1   Laura    21    F 2017-07-24
2   Pedro    53    M 2017-01-13
3   María    17    F 2017-03-15
4    Luís    19    M 2017-07-15
5  Miguel    23    M 2017-08-14

    Используйте фильтр столбцов для получения другого Dataframe, который содержит только файлы, sexoсоответствующие простым мужчинам:

    >>> df2 = df[df['Sexo'] == 'F']
>>> df

  Nombre  Edad Sexo      Fecha
1  Laura    21    F 2017-07-24
3  María    17    F 2017-03-15

    With df['Sexo'] == 'F'просто создает маску, которая в данном случае представляет собой серию Pandas и содержит один столбец логических значений: [False, True, False, True, False, False]результат сравнения, если каждое значение столбца равно 'F'. Мы можем фильтровать любые другие итерируемые логические значения, например, массив NumPy, список, столбец из другого DataFrame и т. д.

    Другой пример, отфильтровывающий тех, кому 18 лет и старше:

    >>> df2 = df[df['Edad'] >= 18]

>>> df2

   Nombre  Edad Sexo      Fecha
1   Laura    21    F 2017-07-24
2   Pedro    53    M 2017-01-13
4    Luís    19    M 2017-07-15
5  Miguel    23    M 2017-08-14

    Версия:

    Вы можете фильтровать по датам, следуя той же идее, например, мы можем фильтровать строки Fechaмежду текущей датой и 30 днями назад:

    >>> fecha_limite = pd.datetime.now().date() - pd.Timedelta(days=30)
>>> df2 = df[(df['Fecha'] > fecha_limite)]
>>> df2

   Nombre  Edad Sexo      Fecha
0    Juan    12    M 2017-08-20
1   Laura    21    F 2017-07-24
5  Miguel    23    M 2017-08-14

    Также можно использовать несколько условий, например предыдущее условие, но также быть женщиной:

    >>> fecha_limite = pd.datetime.now().date() - pd.Timedelta(days=30)
>>> df2 = df[(df['Fecha'] > fecha_limite) & (df['Sexo'] == 'F')]
>>> df2

  Nombre  Edad Sexo      Fecha
1  Laura    21    F 2017-07-24

    Его можно отфильтровать с помощью индекса таким же образом или с помощью loc, например, если наш столбец Fechaбыл в индексе DataFrame (DateTimeIndex), мы можем сделать:

    >>> fecha_limite = pd.datetime.now().date() - pd.Timedelta(days=30)
>>> df2 = df[df.index.date > fecha_limite]
    • 5