Программа проверки базы данных CDS ISIS и Системы ИРБИС
«Tomsk Replication Project»
(Версия IsisUtil 5.20 от 23 апреля 2003 года)
Введение
Программа разработана в рамках проводимого в Муниципальной
информационной библиотечной системе города Томска проекта «Tomsk Replication Project» и предназначена для
определения и редактирования дублетных и иных данных в соответствии со
значением единичных полей (подполей) или их комбинации, выполненной на языке
запросов CDS ISIS. Программа работает в среде Microsoft Windows 9x/NT/2000/XP.
Внимание! Программа представляет собой средство редактирования баз
данных и Электронных каталогов, выполненных в Системе ИРБИС и CDS ISIS.
В соответствии с этим для работы с программой необходимы права (должность)
администратора баз данных или ответственного редактора Электронного каталога.
Работа с программой предполагает наличие знаний структуры базы данных
редактируемых каталогов на уровне кодов и меток MARC
формата или иного формата, используемого для кодирования данных.
Внимание! Программа является бесплатной, но использование ее
допустимо лишь при выполнении условий п.1 Гарантий и замечаний (см. файл License.rtf в комплекте). Это
условие является необходимым для поддержки дальнейших работ в этом направлении.
Программа не может
физически удалить отдельные записи Вашего Электронного каталога! Однако при
использовании функции редактирования полей и данных будьте внимательны! Все
функции удаления записей целиком, реализованные в этой программе – логические
удаления записей. При удалении каких-либо данных используйте функцию «история»,
где можно сделать «откат» к предыдущему состоянию записи.
Программа позволяет работать с различными кодировками
русских букв. Кроме этого имеется функция настройки требуемого шрифта для
отображения данных на экране.
После всех операций в данной программе необходимо «актуализировать словарь» в АРМе
Администратор Системы ИРБИС.
Для работы программы распакуйте архив, который содержит
следующие файлы:
Isis32.dll (динамическая библиотека языка CDS ISIS, подходит
аналогичная из каталога системы ИРБИС)
Irbis64.dll (динамическая библиотека баз данных ИРБИС-64)
borlndmm.dll (динамическая библиотека от фирмы Borland для систем Delphi и Builder)
IsisUtil.exe (файл программы)
Help.doc (этот файл)
Ask-correc.doc (статья, опубликованная на Крымской конференции
2003 года, с описанием данной программы).
Language.ini
(файл с текстами пунктов меню и
интерфейса, которые при желании Вы можете перевести на Ваш любимый язык)
License.rft (файл с типовой лицензией)
Pft.mnu
(текстовый файл с «популярными»
алгоритмами проверки баз данных)
/temp/ (каталог, в котором появляются данные при
работе с форматом данных ISO-2709)
Краткая
инструкция по работе с программой
Мы
понимаем, что не все каталогизаторы-корректоры электронных каталогов имеют
права администраторов компьютеров систем Windows 2000/NT и, чтобы не
доставлять неудобства системным администраторам и одновременно обеспечить
входной контроль знаний человека-корректора электронных каталогов, мы не
создаем инсталлятора к данной программе.
Для запуска достаточно запустить автоматическую распаковку скачанного с
Интернет файла в какой-либо каталог и запустить файл relication.exe
Для
начала работы Вам необходимо открыть существующую базу данных. При этом
необходимо знать в какой кодировке находятся русские символы в базе данных. В
ИРБИСе версии DOS и до 2000.4
(включительно) данные находятся в кодировке DOS
и ISIS32-типе, в других
версиях ИРБИСа данные находятся в кодировке Win-1251
и ISIS32-типе,
перекодировка при этом не требуется (Не перекодировать). См. рис.1. Система
ИРБИС-64 (Клиент-серверный вариант) имеет кодировку Win-1251
и тип Irbis64. Если Вы пожелаете
работать напрямую с форматом ISO-2709, то
необходимо выбрать ISO-формат, а затем
определить, какие символы используются в качестве разделителей.
Рис.1
После открытия
требуемой базы данных Вам необходимо выбрать режим работы с базой данных.
Существуют 3 варианта (соответственно 3 подплоскости) (Рис.2 п.2):
- Работа с алгоритмическими кодами
(алкодами) проверки на дублетность данных;
- Работа по определению истории
записи (откат в предыдущее состояние);
- Редактирование конкретного номера mfn в базе данных.
При работе в режиме
проверки дублетности данных вид программы, показан на рис.2.
Рис.2.
После
выбора базы данных откроется окно, куда необходимо записать на языке CDS ISIS
запрос, согласно которому формируется алгоритмический код отдельной записи. В
Системе ИРБИС такой код формируется автоматически и для каждой записи БД
Электронного каталога находится в поле 903 (Шифр документа). Соответственно
запрос будет выглядеть, как v903 , см. рис.1.
В программе имеется
возможность работы с заранее заполненными запросами к базе данных Электронного
каталога, для этого необходимо «включить» «полный вид», скрытая кнопка которого
расположена в правой нижней части окна ввода pft-формата
(см. рис.1). В результате появится окно, показанное на рис.2.
Блоки
данных, показанных на рис.2. условными номерами обозначают:
1 – основное меню программы.
2 – переключатель подплоскостей работы программы;
3 – алгоритмический код (алкод), которым будет проведена
проверка базы данных (написан на языке CDS ISIS);
4 – открытие меню выбора заранее определенных алгоритмов
проверки базы данных (написаны на языке CDS ISIS), показано на
рис.3.;
5 – кнопка запуска алгоритма проверки базы данных по
алгоритму в строке 3:
6 – тип результата показа. Имеются три варианта результатов,
при выборе которых значения записей базы данных появляются в окнах 12 и 13:
a.
Пустые алкоды.
Записи в этом списке не содержат данные в результате запроса. Т.е. в примере
это записи, в которых отсутствует какое-либо значение в поле 903 (Шифр
документа) и соответственно для случая БД Системы ИРБИС, такие записи являются
ошибочными.
b.
Одинаковые записи.
В этом случае показаны пары номеров записей (не сортированные). Записи
одинаковы по формату и точным совпадениям знаков полей и подполей (абсолютно
одинаковые).
c.
Разные записи.
В этом случае показаны пары записей, где имеется одинаковый алкод, но значения
некоторых полей (подполей) отличаются.
7 – окно списка записей, найденных по критерию поиска пункта 3.
8 – номер MFN записи в базе
данных.
9 – варианты отображения записей:
a.
отличие – показаны
только отличные поля, все совпадающие поля при этом взаимно скрываются;
b.
полный вид –
показаны записи полностью.
10 – Включение / выключение режима показа отличающихся данных
красным цветом.
11 – кнопки для удаления, сохранения и поиска истории записи
(создания механизма отката).
12, 13 – многостроковые поля для отображения и редактирования записей
базы данных, в том числе путем использования буфера обмена.
Для
выбора алгоритма проверки базы данных существует форма, показанная на рис.3.
Возможные варианты проверки записаны в файле pft.mnu, который Вы можете
редактировать и добавлять туда свои варианты проверки записей в базе данных.
Рис.3.
История каждой записи в базе данных Системы ИРБИС
представлена списком вариантов mfn-записи, которые
соответствуют количеству нажатий кнопки «сохранить» Системы ИРБИС. Информация
сохраняется до проведения «реорганизации файла документов» АРМа
«Администратор».
В
окне, полученном после работы алгоритма поиска истории записи, Вы увидите один
или несколько вариантов записи, найденной в базе данных. Самый последний
вариант записи имеет наибольший номер и находится внизу (см.рисунок
«СТАРАЯ-НОВАЯ»). Вы
можете выбрать нужный вариант записи и нажать на кнопку «Сохранить», при этом будет сохранен
выбранный вариант записи. Таким образом, Вы можете делать «откат» и
восстановление случайно измененных записей, а также редактировать, как Вам
будет угодно данную запись в окне.
Для
работы алгоритма группового отката Вам необходимо выбрать в пункте меню
«Функции»-«Откат по условию». На экране появится окно с видом на рис.4.
Особенностью работы алгоритма проверки на условие отката будет возвращение
значения ‘TRUE’, т.е. если необходимо сделать откат для всех
записей отредактированных 20 февраля 2002 года, необходимо набрать pft-строку
(рис.4. п.1) и нажать кнопку «Поиск» (рис.4. п.2):
if
v907:’20020220’ then ‘TRUE’ fi
Далее
необходимо выбрать записи для проведения группового отката и нажать «Старт»
(Рис.4. п.3.). Выбранные записи будут возвращены в предпоследнее состояние.
Рис.4.
При
работе корректора иногда возникает задача копирования данных из одной записи в
другую. Для этого Вы можете использовать буфер обмена. Классический пример
этому независимое редактирование и докомплектование дублетных записей. В
результате требуется перенести незначительную отличную информацию из одной
записи в другую и одну из двух записей удалить. Будьте внимательны при запущенной системе книговыдачи, которая
накладывает свои ограничения на удаление записей (см. «Инструкция по Системе
ИРБИС»). Перед сохранением сделанных Вами изменений в записи система Вас
переспросит о сохранении (эту функцию можно отключить «Функции» - «Подтверждение на сохранение»). Кроме этого можно
настроить формат показа с переносом длинных строк – «Функции» - «Перенос по строкам без скроллинга».
После
проведенных изменений и сохранения результатов Вам необходимо актуализировать
словарь из АРМ «Администратор» Системы «ИРБИС».
Моменты, когда требуется использование данной программы
1.
После конвертирования
записей из других систем автоматизации появляется много пустых записей. Быстрый
поиск и удаление этих записей – задача для этой программы.
2.
Вы можете скопировать
или импортировать дважды одни и те же записи с выключенной системой проверки на
дублетность. Для удаления абсолютно одинаковых записей и получения лишь одного
варианта Вам достаточно выбрать «Функция»
- «Удалить одинаковые записи».
3.
Если у Вас «возникло
желание» сравнения нескольких записей и их дальнейшего редактирования
(незначительного), то используя буфер обмена это можно сделать.
4.
При «размножении»
статей или журналов иногда каталогизаторы делают восстановление логически
удаленных записей, при этом не удаляют старые записи.
5.
Ввод многотомного
издания иногда сопровождается копированием записей и смены номера тома, при
этом шифр документа не изменяется, что является грубейшей ошибкой в процессе
каталогизации и влечет проблемы автоматизации в дальнейшем.
6.
Иногда при переносе
записей из БД «Комплектование» в БД «Электронного каталога» каталогизаторы
восстанавливают логически удаленные системой ИРБИС записи. Это приводит к
появлению повторяющегося «шифра документа» в базе данных, что недопустимо.
7.
По «старой советской
традиции» каталогизатор при описании держит журнал или книгу перед собой, при
этом источник лежит корешком на клавише «пробел» и автоматически «набивает»
пробелы в базу данных. Пробелы «невидимы», но также являются данными и занимают
место в базе данных, поэтому требуются большие усилия, чтобы их обнаружить и
вычистить.
8.
Вы обнаружили, что
кто-то испортил преднамеренно или непреднамеренно Вашу запись или несколько
записей электронного каталога. И Вы бы хотели восстановить (эта функция
возможна до реорганизации базы данных).
9.
Вы хотите посмотреть,
как создавалась запись c конкретным mfn.
10.
Сделать «откат»
изменений записи базы данных и отредактировать данные.
И еще многое
другое…
Гарантии и замечания
1.
Для использования
программы в технологическом цикле Вашей библиотеки необходимо заполнить,
распечатать, подписать и отправить в наш адрес (634034, г. Томск,
ул.Красноармейская, 119, МИБС)
предлагаемый текст (файл License.rft) . Никаких денег Вам платить не нужно! Это требование
объясняется тем, что в работах заняты студенты Томского университета систем
управления и радиоэлектроники, которые на базе этой программы (и ей подобных)
планируют защищать свои проекты. Помогите им в этом, пожалуйста!
2.
В программе не
использованы «критические» функции удаления данных в базе данных Электронного
каталога Системы ИРБИС, поэтому работа программы не может вызвать потерю
данных.
3.
При обучении работе с
программой используйте резервную копию базы данных!
4.
Программа
протестирована на базе данных Сводного каталога ГПНТБ научно-технической
литературы 2001 года, содержащей более 500000 записей. В этом случае программа
работала на сортировке и анализе одинаковых данных около 30 минут.
5.
Для работы программы
необходим файлы isis32.dll и irbis64.dll (входят в архив дистрибутива)
6.
При показе данных
записей базы данных используется XML подобный
формат показа документов, обеспечиваемый функцией ISISRecDump.
7.
Не используйте
функции форматирования Системы ИРБИС (&unifor)!
В строке запроса к базе данных, где строятся алгоритмические коды.
8.
При работе с файлом
структуры ISO-2709 появляется поле
<1000>, что есть лидер записи.
9.
При сохранении данных
в формате ISO-2709 никакого
алгоритма преобразования данных не используется. Лидер записи при этом содержит
только обязательные значения длины записи.
Тематические
ссылки
1.
http://www.ask.tomsk.ru/tren/allcode.htm - что такое алгоритмический код и пример его использования.
2.
http://www.irbis.tomsk.ru - Сайт ИРБИС в
Томске – новости автоматизации в Системе ИРБИС из Томска.
3.
ftp://irbis.tomsk.ru/pub/isis/ - архив программ CDS
ISIS и ИРБИС.
Наши
координаты
Муниципальная
информационная библиотечная система города Томска
634034,
г. Томск, ул.Красноармейская, 119, МИБС
http://www.library.tomsk.ru - МИБС Томска /
http://www.irbis.tomsk.ru - ИРБИС в Томске /
Томский
университет систем управления и радиоэлектроники /
Радиотехнический
факультет /
Кафедра
радиоэлектроники и защиты информации
Руководитель проекта: Карауш Александр Сергеевич
E-mail: ask@library.tomsk.ru
http://www.ask.tomsk.ru
Программист:
Копытков Дмитрий Юрьевич
E-mail: duk@library.tomsk.ru
Приложение
1
Практические примеры применения и заметки из жизни:
Программа проверки базы данных CDS ISIS и Системы ИРБИС
«Tomsk Replication Project»
(Версия IsisUtil 5.20 от 23 апреля 2003 года)
Последовательность
операций по проверке базы данных Электронного каталога библиотеки (и других баз
данных) позволит Вам содержать свой каталог в чистоте и виде, которому
позавидуют другие.
Идея этой программы зародилась, когда я наблюдал мучительный
труд корректора Электронного каталога. Причем эти муки можно видеть в любой
программе автоматизации. Основная же задача коррекции каталога – это не
пропустить ошибки (орфография, стилистика, технология) и не пропустить
дублетности данных в записях. Для автоматизации решения этих задач и создана
эта программа.
Алгоритмический код (алкод), составляемый на источник
информации (в основном в автоматическом режиме), необходим, разработан и
позиционируется так же, как существует библиографическое описание на книгу,
призванное заменить полный текст книги для задач поиска.
Основная
задача – составить алкод таким образом, чтобы у одинаковых источников в разных
каталогах и описанных разными каталогизаторами он был одинаков, и в тоже время
был отличен от описаний других источников. Естественно, что это очень сложная
задача. На сегодняшний день она решена для малых библиотек, однако не решена
для библиотек, где фонды составляют миллионы томов. Но время идет, и алгоритмы
шифрования документов в электронных каталогах совершенствуются.
Представленная программа проверяет записи в базе данных на
предмет дублетности строки алкода. Результатом работы программы является список
записей, где строка алкода одинакова (абсолютно).
Для гибкости работы программы Вы можете самостоятельно
создавать алкод и проверять записи на дублетность этих записей. Строка алкода
создается на языке форматирования CDS
ISIS. Из каждой записи
выбираются данные, в соответствии со строкой формирования алкода, а затем эти
данные сортируются в три блока:
1.
Блок, где записи
имеют отсутствие значение строки алкода (либо отсутствует значение в поле
(полях) из которых строится алкод);
2.
Записи с одинаковым
содержимым (абсолютно одинаковые записи с полным совпадением полей, подполей и
их повторений);
3.
Записи с одинаковым
алкодом, но разным содержимым (причем можно просмотреть различающиеся данные).
Примеры:
|
Pft строка – алгоритм формирования
алкода |
Описание
действий и необходимость |
|
v903 |
Проверка
БД электронного каталога Системы ИРБИС на предмет дублетных данных поля «шифр
документа в БД». Повторение этого поля грозит проблемами при работе системы
книговыдачи. Кроме этого в ряде случаев по этим данным работают поля связи.
Подходит для проверок БД IBIS, CMPL и др. баз электронных каталогов. |
|
if
v920:’PAZK’ then v200,v215,v10 else v903 fi |
Проверка
записей ошибочно созданных и не удаленных, где присутствует поле «шифр
документа в БД», но данных о книге нет. Кроме этого, этот алгоритм позволяет
грубо определить дублетные описания книг. |
|
if v920:’ASP’
then v700,v200,v463^c else v903 fi |
Проверка
записей аналитических описаний статей на предмет двойного копирования. Этот
алгоритм грубый, однако позволяет обойти ошибки и опечатки. Особое внимание
следует уделить продолжающимся статьям (с одним заглавием из номера в номер). |
|
if v0:' ' then else v903 fi |
Проверка
БД на лишние пробелы (более 2-х). Проблема такая возникает не редко, при этом
БД каталога может быть заблокирована. Регулярная проверка баз данных на
подобные символы позволит Вам решить многие проблемы «непонятного»
«зависания» баз данных. |
|
V10,v11,v12 |
Построение алкода по ФИО читателей и просмотр читателей с одинаковыми ФИО. Потому, как бывают досадные ошибки ввода. |
После проверки, редактирования или удаления ошибочных
записей не забудьте актуализировать словарь а АРМе Администратора Системы
ИРБИС.
Найденные
номера записей Вы можете сохранить в файле отчета, а затем распечатать и
продолжить редактирование в соответствующем АРМе Системы ИРБИС.
Прочитав инструкцию по языку форматирования CDS ISIS
в документации Системы ИРБИС, Вы сможете самостоятельно проверять все базы
данных, не только электронных каталогов, но также и читателей, а также любые
другие на предмет дублетности данных и проводить редактирование данных
Электронного каталога.
Пусть труд корректора электронного каталога станет проще.
Успехов!
Муниципальная
информационная библиотечная система города Томска