Как при помощи powershell сравнить 2 csv файла и записать из разницу в 3-й?

Question

Z-RoVeR @Z-RoVeR

Как при помощи powershell сравнить 2 csv файла и записать из разницу в 3-й?

Есть 2 csv файла с более чем 3к строк. Структура столбцов у них одинаковая, каждом есть столбцы Name, Surname, Email, Phone и т.д.
Интересует сравнение этих файлов только по столбцу Email и запись не дублирующихся строк в 3-й(желательно с маркировкой в каком файле этот email присутствует, а в каком нет.)
Я очень долго танцевал с Compare-Object, но так и не добился результата. Может что сталкивался с подобной задачей?

Вопрос задан более трёх лет назад
1975 просмотров

Комментировать

Подписаться 2 Простой Комментировать

Решения вопроса 1

9 комментариев

Z-RoVeR @Z-RoVeR Автор вопроса

Изначально скрипт ругался на пустое значение -Append и я его удалил.
Так же изменил разделители на ";"
Получилось:
if(test-path c:\tmp\unique_emails.csv){remove-item c:\tmp\unique_emails.csv -force}
$1csv = Import-Csv C:\tmp\mail_old.csv -Delimiter ";"
$2csv = Import-Csv C:\tmp\mail_new.csv -Delimiter ";"
foreach ($line in $1csv){if($2csv -notmatch $line.email){$line | export-csv -notypeinformation -delimiter ";" -path c:\tmp\unique_emails.csv}}

В итоге скрипт отрабатывает без ошибок но:
1) Файл "unique_emails.csv" показывает только одну строку с отличием, при чём ту что была последней в файле "mail_old.csv".
2) Все русские имена и фамилии превратились в знаки вопроса.

Написано более трёх лет назад
azarij @azarij

1 случается из-за отсутствия -append ключа. у него нет значения, он там только для того, чтобы указать команде, что нужно добавлять строки в файл, а не перезаписывать его одной строкой на каждом проходе цикла.
2. попробуйте обновить повершелл до 5.1 ($psversiontable) если он старый. попробуйте ввести ключ -encoding в команду export-csv.

Написано более трёх лет назад
Z-RoVeR @Z-RoVeR Автор вопроса

azarij, Сделал исправления: добавил -append -encoding и обновил версию ps.

if(test-path c:\tmp\unique_emails.csv){remove-item c:\tmp\unique_emails.csv -force}
$1csv = Import-Csv C:\tmp\mail_old.csv -Delimiter ";"
$2csv = Import-Csv C:\tmp\mail_new.csv -Delimiter ";"
foreach ($line in $1csv){if($2csv -notmatch $line.email){$line | export-csv -notypeinformation -encoding unicode -delimiter ";" -path c:\tmp\unique_emails.csv -Append}}

Проблема с Кириллицей решилась, но после добавления ключа -append, другая проблема изменилась. Теперь файл unique_emails.csv точная копия файла "mail_old.csv", даже вес файла в КБ одинаковый.
Верхняя строчка обоих файлов:

"Name";"Surname";"Phone";"DisplayName";"Email"

Не знаю имеет ли значение, но один и тот же email может находится на совершенно разных строчках файлов. Т.е. например user@email.ru может находится на 10 строчке файла "mail_old.csv", а в файле "mail_new.csv" он может находится на 2000-й строчке.

Написано более трёх лет назад
azarij @azarij

странно. ладно. натравите скрипт на следующие два файла:

1.csv
"name";"email";"phone"
"ak";"ak@ak.com";"0123456"
"kb";"kb@kb.com";"98543221"
"akk";"akk@akk.com";"0123456"
"kak";"kak@kak.com";"98543221"
"aak";"aak@aak.com";"0123456"
"kka";"kka@kka.com";"98543221"
"aka";"aka@aka.com";"0123456"
"kakk";"kakk@kakk.com";"98543221"

2.csv
"name";"email";"phone"
"ak";"ak@ak.com";"0123456"
"kb";"kb@kb.com";"98543221"
"akkk";"akkk@akkk.com";"0123456"
"kakk";"kakk@kakk.com";"98543221"
"aakk";"aakk@aakk.com";"0123456"
"kkak";"kkak@kkak.com";"98543221"
"akak";"akak@akak.com";"0123456"
"kakkk";"kakkk@kakkk.com";"98543221"

в результирующем файле должны быть все строки, кроме тех двух, что совпадают в обоих файлах.
и я бы все таки посмотрел в сторону compare-object. с ним не так сложно разобраться.

Написано более трёх лет назад
Z-RoVeR @Z-RoVeR Автор вопроса

azarij,
Опять копия первого файла:
"name";"email";"phone"
"ak";"ak@ak.com";"0123456"
"kb";"kb@kb.com";"98543221"
"akk";"akk@akk.com";"0123456"
"kak";"kak@kak.com";"98543221"
"aak";"aak@aak.com";"0123456"
"kka";"kka@kka.com";"98543221"
"aka";"aka@aka.com";"0123456"
"kakk";"kakk@kakk.com";"98543221"

с Compare-Object я ковырялся, но так и не заставил его работать.

Написано более трёх лет назад
azarij @azarij

ладно. а под ковром? ;)

if(test-path c:\tmp\unique_emails.csv){remove-item c:\tmp\unique_emails.csv -force}
$1csv = Import-Csv C:\tmp\mail_old.csv -Delimiter ";"
foreach ($line in $1csv){if((get-content C:\tmp\mail_new.csv -raw) -notmatch $line.email){$line | export-csv -notypeinformation -encoding unicode -delimiter ";" -path c:\tmp\unique_emails.csv -Append}}

Написано более трёх лет назад
Z-RoVeR @Z-RoVeR Автор вопроса

azarij,
Заработало!
Правда этот скрипт показывает только адреса которое есть в *_old, но нет в *_new.
Придется наверно дублировать скрипт меняя местами файлы чтобы получить 2 списка с полной разницей :)

Написано более трёх лет назад

azarij @azarij

либо так, либо:

Compare-Object $1csv $2csv -Property email -PassThru (как написали в другом ответе):

PS C:\Users\user> Compare-Object $1csv $2csv -Property email -PassThru

name  email           phone    SideIndicator
----  -----           -----    -------------
akkk  akkk@akkk.com   0123456  =>           
aakk  aakk@aakk.com   0123456  =>           
kkak  kkak@kkak.com   98543221 =>           
akak  akak@akak.com   0123456  =>           
kakkk kakkk@kakkk.com 98543221 =>           
gb    akk@akk.com     0123456  <=           
kak   kak@kak.com     98543221 <=           
aak   aak@aak.com     0123456  <=           
kka   kka@kka.com     98543221 <=           
aka   aka@aka.com     0123456  <=

Написано более трёх лет назад

Z-RoVeR @Z-RoVeR Автор вопроса

azarij, Я пробовал этим способом, вывод там небольшой, многих ящиков нет.

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

PostgreSQL

+1 ещё

Простой
Как исправить неправильное отображение данных в csv после экспорта?
- 1 подписчик
- вчера
- 82 просмотра
1

ответ
PowerShell

+1 ещё

Простой
Как запросить права администратора при выполнение скрипта?
- 1 подписчик
- вчера
- 69 просмотров
2

ответа
PowerShell

+1 ещё

Сложный
Можно ли конвертировать скрипт на PS в VBS?
- 1 подписчик
- 11 апр.
- 134 просмотра
2

ответа
Парсинг

+1 ещё

Средний
Как исправить ошибку кодировки Powershell, при выводе InvokeRequest?
- 1 подписчик
- 10 апр.
- 97 просмотров
1

ответ
Информационная безопасность

+4 ещё

Простой
Как исправить ошибку 0x138c при настройке консолидации логов с одного контроллера домена на другой?
- 1 подписчик
- 07 апр.
- 81 просмотр
0

ответов
PowerShell

+1 ещё

Простой
Ошибка Get-WmiObject: Не поддерживается, как исправить?
- 1 подписчик
- 02 апр.
- 99 просмотров
1

ответ
PowerShell

Простой
Как убрать эффект «» для переменной при указании пути?
- 1 подписчик
- 25 мар.
- 51 просмотр
1

ответ
PowerShell

Средний
Как использовать переменные из массива поочерёдно (Powershell)?
- 1 подписчик
- 25 мар.
- 78 просмотров
1

ответ
PowerShell

Простой
Как подставить переменную в путь к файлу (powershell)?
- 1 подписчик
- 25 мар.
- 87 просмотров
2

ответа
PowerShell

Простой
Как в powershell сделать открытое окончание названия файла (*)?
- 1 подписчик
- 22 мар.
- 88 просмотров
2

ответа
Показать ещё Загружается…

Инженер технической поддержки (тестирование)

Avanpost • Москва

от 100 000 ₽

Системный администратор

FS Travel • Москва

от 170 000 ₽

Ведущий администратор средств защиты информации

FS Travel • Москва

от 195 000 ₽

Взлом автомобильной программы

19 апр. 2024, в 05:01

999999 руб./за проект

Доработать телеграм бота

19 апр. 2024, в 03:52

1000 руб./за проект

Написать код на python

19 апр. 2024, в 03:01

1000 руб./за проект

Answer 1 · 2018-08-28 20:30:39

if(test-path c:\test\unique_emails.csv){remove-item c:\test\unique_emails.csv -force}
$1csv = Import-Csv C:\test\1.csv -Delimiter "`t"
$2csv = Import-Csv C:\test\2.csv -Delimiter "`t"
foreach ($line in $1csv){if($2csv -notmatch $line.email){$line | export-csv -notypeinformation -delimiter "`t" -path c:\test\unique_emails.csv -Append}}

1.csv
name email phone
ak ak@ak.com 0123456
kb kb@kb.com 98543221
akk akk@akk.com 0123456
kak kak@kak.com 98543221
aak aak@aak.com 0123456
kka kka@kka.com 98543221
aka aka@aka.com 0123456
kakk kakk@kakk.com 98543221

2.csv
name email phone
ak ak@ak.com 0123456
kb kb@kb.com 98543221
akkk akkk@akkk.com 0123456
kakk kakk@kakk.com 98543221
aakk aakk@aakk.com 0123456
kkak kkak@kkak.com 98543221
akak akak@akak.com 0123456
kakkk kakkk@kakkk.com 98543221

в цсв файлах все разделено табами

Answer 2 · 2018-08-30 04:48:39

forspamonly2 @forspamonly2

compare-object (Import-Csv 1.csv) (Import-Csv 2.csv) -Property "email" -PassThru

Ответ написан более трёх лет назад

Комментировать

Как при помощи powershell сравнить 2 csv файла и записать из разницу в 3-й?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт