Как искать арабское слово в тексте без его диакритики / ударения?

В арабском, как и в некоторых других языках, есть диакритические знаки для улучшения произношения. Не существует соглашения о том, сколько диакритических знаков должно быть написано для одного слова. Некоторые используют минимум (который я предпочитаю) как раз достаточно для устранения неоднозначности произношения, тогда как другие используют их излишне или просто для эстетических каллиграфических целей. Таким образом, существует широкий разброс того, что и сколько диакритических знаков связано с одним словом. Когда я isearch-forward/backwardнажимаю C-s/r, возникает проблема, когда я набираю его в мини-буфере поиска без диакритических знаков, оно не будет совпадать с тем же словом в тексте, если у него есть диакритические знаки, что делает задачу поиска этого слова с его потенциальными диакритическими знаками когда-либо неудовлетворительной.

Есть ли способ сделать поиск / регулярное выражение поиска, не зная диакритические знаки? Я надеюсь , что будет ответ , который может быть расширен для включения regexp C-M-s/rи grepпоиска , которые я использую довольно часто в штурвале-снаряде искать слова в латексных проектах мультей-файлы.

Обновление
Было бы неплохо видеть, что Emacs во всех своих функциях поиска делает шаг зачистки текста (из ударений / диакритических знаков / вы называете его) перед соответствием шагу в качестве поведения по умолчанию, которое может быть отключено префиксом по требованию не важно, какой язык под рукой. Как правило, когда я ищу что-то, я не ожидаю, что лучший редактор (Emacs) потерпит неудачу в этом поручении только из-за некоторых диакритических знаков или акцентов, которые редко когда-либо необходимы для выполнения рутинных операций над текстом.

Вот грубое начало, основанное на списке символов объединения в этом ответе (и затем расширенном). (Отметить это как вики сообщества - пожалуйста, отредактируйте и улучшите это!)

(defconst arabic-diacritics '(#x064b #x064c #x064d #x064e #x064f #x0650 #x0651 #x0652 #x0653 #x0654 #x0655 #x0670)
  "Unicode codepoints for Arabic combining characters.")
(defconst arabic-diacritics-regexp (regexp-opt (mapcar #'string arabic-diacritics)))

(defconst arabic-equivalents
  '(
    ;; "alef" is equivalent to "alef with hamza above" etc
    (#x0627 #x0623 #x0625 #x0622)))

;; (require 'cl-lib)    
;; (defun arabic-strip-diacritics (string)
;;   (cl-reduce (lambda (s c) (remove c s)) arabic-diacritics :initial-value string))

(defun arabic-search-without-diacritics (string)
  (interactive (list (read-string "Search for: " nil nil nil t)))
  (let ((regexp
         (apply #'concat
                (mapcar (lambda (c)
                          (let ((equivalents (assq c arabic-equivalents)))
                            (concat
                             (if equivalents
                                 (regexp-opt (mapcar #'string equivalents))
                               (regexp-quote (string c)))
                             arabic-diacritics-regexp "*")))
                        string))))
    (search-forward-regexp regexp)))

Поэтому, если буфер содержит «الْحَمْدُ لِلَّهِ رَبِّ الْعَالَمِينَ», и я оцениваю (arabic-search-without-diacritics "الحمد لله رب العالمين"), он находит текст. Он также работает в интерактивном режиме, как M-x arabic-search-without-diacritics.

Альтернативный подход:

Вот полный пример кода, который демонстрирует, как диакритические и другие непространственные метки ( Mnсвойство) могут быть удалены из нормализованных строк в совпадениях с регулярным выражением. Он работает с приведенными примерами, и IMO - правильный подход.

(defun kill-marks (string)
  (concat (loop for c across string
                when (not (eq 'Mn (get-char-code-property c 'general-category)))
                collect c)))

(let* ((original1 "your Arabic string here")
      (normalized1 (ucs-normalize-NFKD-string original1))
      (original2 "your other Arabic string here")
      (normalized2 (ucs-normalize-NFKD-string original2)))
  (equal
   (replace-regexp-in-string "." 'kill-marks normalized1)
   (replace-regexp-in-string "." 'kill-marks normalized2)))