Найдите строки с несколькими повторяющимися полями с помощью Active Record, Rails и Postgres

103

Как лучше всего найти записи с повторяющимися значениями в нескольких столбцах с помощью Postgres и Activerecord?

Я нашел это решение здесь :

User.find(:all, :group => [:first, :email], :having => "count(*) > 1" )

Но, похоже, это не работает с postgres. Я получаю такую ошибку:

PG :: GroupingError: ОШИБКА: столбец "parts.id" должен появиться в предложении GROUP BY или использоваться в агрегатной функции

ruby-on-rails postgresql activerecord

— newUserNameHere
источник

3

В обычном SQL я бы использовал самосоединение, что-то вроде select a.id, b.id, name, email FROM user a INNER JOIN user b USING (name, email) WHERE a.id > b.id. Не знаю, как выразить это на языке ActiveRecord.

— Craig Ringer

225

Протестированная и рабочая версия

User.select(:first,:email).group(:first,:email).having("count(*) > 1")

Кроме того, это немного не связано, но удобно. Если вы хотите узнать, сколько раз была найдена каждая комбинация, поместите в конце .size:

User.select(:first,:email).group(:first,:email).having("count(*) > 1").size

и вы получите результат, который выглядит так:

{[nil, nil]=>512,
 ["Joe", "test@test.com"]=>23,
 ["Jim", "email2@gmail.com"]=>36,
 ["John", "email3@gmail.com"]=>21}

Думал, что это было круто, и раньше этого не видел.

Благодарим Тарин, это всего лишь измененная версия ее ответа.

— newUserNameHere
источник

7

Мне пришлось передать явный массив select()as in: User.select([:first,:email]).group(:first,:email).having("count(*) > 1").countдля работы.

— Рафаэль Оливейра

4

добавление .countдаетPG::UndefinedFunction: ERROR: function count

— Magne

1

Вы можете попробовать User.select ([: first,: email]). Group (: first,: email) .having ("count (*)> 1"). Map.count

— Сергей Надолинский

3

Я пробую тот же метод, но также пытаюсь получить User.id, добавляя его в select, а группа возвращает пустой массив. Как я могу вернуть всю модель User или хотя бы включить: id?

— Эшбери

6

использовать .sizeвместо.count

— Charles Hamel

33

Эта ошибка возникает из-за того, что POSTGRES требует, чтобы вы поместили столбцы группировки в предложение SELECT.

пытаться:

User.select(:first,:email).group(:first,:email).having("count(*) > 1").all

(примечание: не тестировалось, возможно, придется его настроить)

ИЗМЕНИТЬ, чтобы удалить столбец идентификатора

— Тарин Восток
источник

7

Это не сработает; idстолбец не является частью группы, так что вы не можете передать его , если вы не агрегировать его (например , array_agg(id)или json_agg(id))

— Craig Ringer

10

Если вам нужны полные модели, попробуйте следующее (на основе ответа @ newUserNameHere).

User.where(email: User.select(:email).group(:email).having("count(*) > 1").select(:email))

Это вернет строки, в которых адрес электронной почты строки не уникален.

Я не знаю, как это сделать с несколькими атрибутами.

— Бен Обин
источник

`` `User.where (email: User.select (: email) .group (: email) .having (" count (*)> 1 "))` ``

— чет Кори

Спасибо, что отлично работает :) Также кажется, что последнее .select(:email)избыточно. Я думаю, что это немного чище, но я могу ошибаться. User.where(email: User.select(:email).group(:email).having("count(*) > 1"))

— Чет Кори

Спасибо за быстрое решение.

— RanaAlie

3

Получите все дубликаты одним запросом, если вы используете PostgreSQL :

def duplicated_users
  duplicated_ids = User
    .group(:first, :email)
    .having("COUNT(*) > 1")
    .select('unnest((array_agg("id"))[2:])')

  User.where(id: duplicated_ids)
end

irb> duplicated_users

— Итниколай
источник

-1

Основываясь на ответе @newUserName выше , я считаю, что правильный способ показать количество для каждого -

res = User.select('first, email, count(1)').group(:first,:email).having('count(1) > 1')

res.each {|r| puts r.attributes } ; nil

— Нуну Коста
источник