Кардио-ИТ

Качество в кардиологии
Медицинские Информационные Технологии
Рабочая группа

Опыт проведения аудита работы неподготовленных пользователей с Федеральным регистром больных с острым коронарным синдромом

Год: 
CID: 
0301
Авторы: 
Посненкова О.М., Киселев А.Р., Гриднев В.И.
Тип статьи: 
Язык основного текста статьи: 
Резюме: 
Описывается методология и приводятся результаты пробного аудита работы неподготовленных пользователей с Федеральным регистром больных с острым коронарным синдромом (Регистр ОКС).
Цитировать как: 
Посненкова О.М., Киселев А.Р., Гриднев В.И. Опыт проведения аудита работы неподготовленных пользователей с Федеральным регистром больных с острым коронарным синдромом. Кардио-ИТ 2014; 1: 0301. (Posnenkova OM, Kiselev AR, Gridnev VI. Experience of untrained users’ work audit conducted during the testing of Federal Registry of patients with acute coronary syndrome. Cardio-IT 2014; 1: 0301. Russian)
DOI: 
10.15275/cardioit.2014.0301

 

Введение

В рамках реализации федеральной целевой программы «Предупреждение и борьба с социально значимыми заболеваниями» (2007-2011 гг.) в России была разработана информационно-аналитическая интернет-система «Федеральный регистр больных с острым коронарным синдромом» (https://federalregistry.ru) (далее – Регистр), предназначенная для сбора, хранения и анализа данных о качестве медицинской помощи больным с острым коронарным синдромом (ОКС) в России. Структура базы данных Регистра и руководство пользователя представлены в предшествующих публикациях [1, 2].

Внедрение Регистра в практическое здравоохранение сопряжено с необходимостью некоторой реорганизации рабочей нагрузки на персонал медицинских учреждений, оказывающих помощь больным с ОКС. Также неподготовленные сотрудники, начинающие работу с Регистром, могут испытывать определенные трудности как непосредственно с пользованием интерфейсом Регистра, так и формализацией данных историй болезни пациентов с ОКС для их внесения в базу данных.

В процессе опытной эксплуатации Регистра ОКС в Саратовском НИИ кардиологии была проведена проверка соответствия полноты внесения и качества формализации данных историй болезни пациентов с ОКС, осуществляемых неподготовленными пользователями, разработанному на основе национальных рекомендаций по ОКС [3, 4] пакету формализованной медицинской документации системы учета больных с ОКС.

 

Материал и методы

Дизайн апробации работы пользователей с Регистром

В экспериментальной апробации Регистра ОКС приняли участие 26 сотрудников Саратовского НИИ кардиологии с различным стажем работы, уровнем профессиональной подготовки, в частности уровнем знания клинических рекомендаций по диагностике и лечению ОКС с подъемом и без подъема сегмента ST на электрокардиограмме (ЭКГ): клинические ординаторы, аспиранты, научные сотрудники, врачи (в том числе сотрудники блока интенсивной терапии), руководители лабораторий института. Сотрудники, проводившие тестирование ранее не имели навыков работы с Регистром ОКС и не были знакомы с принципами формализации данных для Регистра.

В качестве источника клинических данных о больных с ОКС использованы истории болезни, удовлетворяющие условиям включения в Регистр ОКС:

  • возраст пациента старше 18 лет;
  • наличие критериев, позволяющих подозревать ОКС: типичный болевой синдром в сочетании с характерной динамикой на ЭКГ или достоверной динамикой маркеров некроза миокарда.

Истории болезней для тестирования отбирались по следующим критериям:

  • Отражение различных клинических вариантов ОКС и исходов его течения (ОКС с подъемом сегмента ST, без подъема сегмента ST; заключительный диагноз: инфаркт миокарда с формированием патологического зубца Q, без формирования патологического зубца Q, нестабильная стенокардия; выписка пациента живым, смерть от ОКС во время пребывания в стационаре).
  • Отражение различных объемов медицинской помощи, оказанной пациентам с различными вариантами ОКС: тромболизис (догоспитальный, госпитальный), коронарография, ангиопластика.

По заданным критериям отобрано 6 историй болезни, данные каждой из которых были внесены в базу данных Регистра ОКС сотрудниками, проводившими тестирование. Сотрудники в произвольной форме записывали комментарии о работе с системой, документировали ошибки в работе экранных форм Регистра.

Внесенные неподготовленными сотрудниками данные были проверены двумя независимыми экспертами из числа разработчиков Регистра ОКС, владеющих принципами формализации клинических данных о больных с ОКС, согласно разработанной нами методологии аудита работы пользователей с Регистром (см. следующий подраздел). Каждым из экспертов рассчитан средний процент ошибок, касающихся полноты внесения данных и смыслового соответствия данных истории болезни (показатель качества формализации) по основным разделам Регистра.

 

Методология аудита работы пользователей с Регистром

Нами предложена общая методология аудита работы пользователей с Регистром ОКС.

Разработана таблица учета полноты заполнения Регистра и количества семантических ошибок (таблица 1; форма в Excel). Таблица заполняется на основании истории болезни и данных Регистра, которые были ранее внесены пользователями учреждения за анализируемый период. 

 

Таблица 1. Таблица учета полноты заполнения Регистра ОКС и количества семантических ошибок

Форма/элемент формы

ФИО больного

Полнота

внесения

Смысловые

ошибки

Регистрация пациента

   

Стационары

   

Анамнез и АКС

Дата и время возникновения симптомов

   

Дата и время вызова СМП

   

Дата и время прибытия СМП

   

Дата и время выезда СМП с места события

   

АКС

   

Факторы риска ИБС

   

Регулярная предшествующая терапия

   

Данные осмотра

Преобладающий симптом при поступлении

   

Частота сердечных сокращений

   

Систолическое артериальное давление

   

Диастолическое артериальное давление

   

Класс ОСН

   

Основной диагноз при поступлении в стационар

   

Инструментальные обследования

ЭКГ

   

Нагрузочная проба

   

Эхокардиография

   

Лабораторные тесты

Ферменты крови

   

Биохимические показатели

   

Общий анализ крови

   

Инвазивные вмешательства

Коронарография

   

Дата и время выполнения коронарографии

   

Ангиопластика

   

Дата и время выполнения ангиопластики

   

Хирургическое лечение

   

Установленные устройства

   

Лечение ОКС

   

Рекомендации при выписке

   

Осложнения, исходы

Осложнения

   

Исходы

   

Жизненный статус при выписке

   

Основной диагноз при выписке

   

Причина смерти

   

Выполнялось вскрытие

   

Совпадение диагнозов

   

Примечание: АКС - ассоциированные клинические состояния; ИБС – ишемическая болезнь сердца; СМП – скорая медицинская помощь; ОСН – острая сердечная недостаточность.

 

Работа с таблицей аудита осуществляется следующим образом.

Первоначально вносится общее число больных с ОКС, пролеченных в учреждении за отчетный период, число больных, внесенных в регистр, число историй, отобранных для проверки.

Далее анализируются отобранные истории. Обязательного заполнения всех полей таблицы не требуется. Анализируются только те данные, которые могут быть получены на основании конкретной истории. Если экранная форма Регистра или ее поле на основании истории болезни не могут быть заполнены, соответствующие поля в таблице аудита не заполняются.

Полнота заполнения формы Регистра определяется как отношение числа заполненных полей к числу полей, которые должны быть заполнены на основании истории болезни.

Число семантических ошибок в заполненной форме определяется как отношение числа полей, заполненных по смыслу правильно, к числу всех заполненных полей.

Результаты получаются в виде дробей, которые затем пересчитываются в проценты.

Отдельные особо значимые поля форм (например, диагноз при поступлении в форме «Данные осмотра» и др.) выделены отдельно в таблице аудита. Применительно к конкретному полю формы по полноте заполнения возможны два варианта результата теста: заполнено – 100%, не заполнено – 0%. По смысловым ошибкам – также два варианта: заполнено по смыслу правильно – 0%, заполнено неправильно – 100%.

По каждой форме (полю формы) рассчитывается средний процент ошибок. Затем учреждения могут сравниваться друг с другом, вырабатываться дополнительные комментарии по заполнению Регистра.

Если получена большая доля ошибок по какой-либо из форм, проводят детальную проверку по отдельным полям формы. Для этого индивидуально могут добавляться соответствующие строки в таблицу аудита.

Таблица аудита первоначально применяется для подготовки экспертов-аудиторов, затем используется экспертами-аудиторами на местах для проверки качества внесенных пользователями данных.

Группе экспертов-аудиторов после изучения данных по семантической структуре регистра ОКС выдается одна история болезни. Каждый из экспертов по очереди вносит данные этой истории в регистр. Затем проверяются результаты каждого из экспертов и сравниваются между собой. Задача – добиться однозначного понимания всех элементов регистра и формулировок историй болезни. Целесообразно таким образом проработать несколько историй, пока не будут достигнуты стабильно одинаковые результаты тестирования. При возникновении спорных вопросов их необходимо обсудить, выработать коллективное решение, документировать в итоговом документе по семантике форм Регистра.

 

Результаты

Тестирование показало бесперебойную работу Регистра в режиме реального времени, соответствие семантической структуры внесенных данных предусмотренной информационной модели.

Среднее время работы с системой неподготовленных пользователей составило 52±8 мин (М±σ). Принцип работы и содержание экранных форм ввода данных были интуитивно понятны 88% пользователей.

К наиболее часто задаваемым пользователями вопросам по работе с Регистром относятся следующие:

  1. Что делать после заведения нового пациента?
  2. Где указывать дату? Какую дату указывать?
  3. Смысловая нагрузка терминов «нет данных», «отсутствует» и «имеется»?
  4. Указывать ли текущий инфаркт миокарда при заполнении форм анамнеза?
  5. Стенокардия есть в анамнезе, но не указан класс – как обозначать?
  6. Как заполнять поле «Курение»?
  7. На какой момент писать лечение?
  8. Зачем указывать время назначения таблетированных препаратов?
  9. Если проведен тромболизис, как ответить на вопрос – причина, по которой не проведен тромболизис?
  10. Время назначения бета-блокаторов – в/в, per os?
  11. Назначение статинов постоянно или на время данной госпитализации?

Результаты экспертной проверки внесенных пользователями данных сведены в итоговую таблицу 2. Проверка показала, что ошибки практически одинаково часто касались как полноты внесения данных, так и смыслового содержания внесенных данных.

 

Таблица 2. Результаты экспертной проверки внесенных данных в Регистр ОКС

Форма/элемент формы

Итого

Полнота

внесения, %

Смысловые

ошибки, %

Стационары

44

50

Регистрация пациента

86

26

Анамнез и АКС

70

68

Данные осмотра

68

37

Дата

78

38

Симптом при поступлении

95

51

Время прибытия СМП

100

49

Класс ОСН

94

16

ЧСС, АД

33

16

Рабочий диагноз

95

16

Инструментальные методы

55

38

ЭКГ

37

48

Нагрузочная проба

90

10

ЭХОКГ

100

25

Лабораторные методы

55

40

КФК, тропонины

64

38

Биохимия крови

85

33

Инвазивные вмешательства

38

37

Коронарография

92

55

Ангиопластика

65

26

Аорто-коронарное шунтирование

0

-

Тромболизис

79

24

Аспирин дата/время

87

24

Клопидогрель дата/время

81

17

Нитраты

78

0

Гепарин

95

13

Блокаторы 2б/3а рецепторов

81

0

ИАПФ

86

28

АРА

81

0

β-адреноблокаторы

78

36

Антагонисты кальция

74

3,3

Диуретики

73

10

Инотропы

81

0

Варфарин

81

0

Статины

79

8

Курение

29

50

Питание

29

95

Масса тела

29

50

Исходы

78

7

Дата выписки

84

11

Статус

89

0

Диагноз

95

0

Код по МКБ

100

0

Осложнения

91

3

Вскрытие

100

0

Примечание: ИАПФ – ингибиторы ангиотензинпревращающего фермента; АРА – антагонисты рецепторов ангиотензина.

 

Наименее полно вносились данные по:

  • стационарам (внесено 44% данных);
  • динамике частоты сердечных сокращений (ЧСС) и артериального давления (АД) (внесено 33% данных);
  • инструментальным методам обследования (55%), в том числе по ЭКГ (37% данных);
  • динамике лабораторных показателей (55%);
  • инвазивным вмешательствам (38%);
  • советам при выписке по курению, рациональному питанию и весу (28%).

Частота смысловых ошибок (некорректная формализация данных историй болезни) была максимальна по следующим разделам Регистра ОКС:

  • стационары (50% неверно);
  • анамнез заболевания, ассоциированные клинические состояния и факторы риска ИБС (68% неверно);
  • данные осмотра – преобладающий симптом при поступлении (51% неверно);
  • время прибытия бригады скорой медицинской помощи к больному (49% неверно);
  • показатели ЭКГ (48% неверно);
  • уровень креатинфосфокиназы и ее МВ-фракции (КФК и КФК-МВ), тропонинов (38% неверно);
  • коронарография (55% неверно);
  • совет по курению (50% неверно);
  • совет по рациональному питанию (95% неверно);
  • совет по снижению веса (50% неверно).

Установлено, что частота ошибок формализации данных не зависела существенно от уровня профессиональной подготовки и стажа пользователей, участвующих в тестировании, а также от конкретного варианта течения ОКС.

Были выявлены основные проблемы при работе неподготовленных пользователей с Регистром ОКС:

  • избыточность требуемой для внесения в Регистр информации (динамика ЧСС, АД, показателей ЭКГ, динамики биохимических показателей, даты событий);
  • недостаточное внимание пользователей к анамнестическим данным;
  • недостаточное понимание формулировок названий элементов форм Регистра;
  • непонимание смысловой нагрузки логических понятий «Имеется», «Отсутствует», «Нет данных».

 

Рекомендации по практическому применению методологии аудита работы пользователей с Регистром ОКС

При осуществлении аудита на местах (в конкретных учреждениях, оказывающих медицинскую помощь больным с ОКС) выборочно (случайным образом) отбираются истории болезней, внесенных каждым из пользователей проверяемого учреждения. В целом при количестве внесенных истории более 100 предлагаем достаточной проверку 10% историй от общего числа внесенных. 

Длительность анализируемого периода, а также число историй для проверки в каждом конкретном учреждении, которые необходимо будет отбирать для адекватной оценки надежности данных, внесенных в Регистр, следует выбирать исходя из общего числа больных с ОКС, получивших медицинскую помощь в учреждении, доли внесенных в Регистр больных, доли ошибок по каждому из полей, скорости работы эксперта с одной историей, организацией процесса проверки на местах. Предлагаем варианты длительностей отчетного периода: 1 раз в месяц, 1 раз в квартал, 1 раз в полугодие, 1 раз в год.

При выявлении большого количества ошибок в учреждении проводятся тренинги. Тренинги целесообразно проводить до начала работы с регистром, например, при присоединении новых крупных центров с большим числом активных пользователей-регистраторов. Это позволит предотвратить большое число ошибок при начале работы, ускорит работу, сократит поток вопросов к службе технической поддержки.

При разработке программ тренингов необходимо учитывать наиболее часто встречающиеся вопросы пользователей, выявленные в нашем опытном аудите (см. раздел «Результаты»).

 

Заключение

Полученные результаты свидетельствуют о том, что допускать к работе по регистрации медицинских данных в Регистре ОКС необходимо только специально подготовленных пользователей, владеющих навыками формализации данных, содержащихся в медицинской документации и ориентированных в проблеме диагностики и лечения ОКС с подъемом и без подъема сегмента ST.

Библиографический список: 
  1. Ощепкова Е.В., Довгалевский П.Я., Гриднев В.И. и др. Структура первичных элементов базы данных российского регистра больных с острым коронарным синдромом. Кардио-ИТ 2014; 1: 0201. (doi: 10.15275/cardioit.2014.0201)
  2. Ощепкова Е.В., Довгалевский П.Я., Гриднев В.И., Посненкова О.М., Киселев А.Р., Дмитриев В.А., Попова Ю.В. Структура первичных элементов базы данных российского регистра больных с острым коронарным синдромом. Кардио-ИТ 2014; 1: 0203. (doi: 10.15275/cardioit.2014.0203)
  3. Национальные рекомендации по диагностике и лечению больных острым инфарктом миокарда с подъемом сегмента ST ЭКГ. Кардиоваскулярная терапия и профилактика 2007; 6(8, Прил. 1).
  4. Национальные рекомендации по лечению острого коронарного синдрома без стойкого подъема ST на ЭКГ. Кардиоваскулярная терапия и профилактика 2006; 5(8, Прил. 1).
Об авторах: 

Посненкова Ольга Михайловна – канд. мед. наук, старший научный сотрудник, Центр продвижения новых кардиологических информационных технологий, ФГБУ Саратовский научно-исследовательский институт кардиологии Минздрава России, г. Саратов, Россия.

Киселев Антон Робертович – докт. мед. наук, ведущий научный сотрудник, Центр продвижения новых кардиологических информационных технологий, ФГБУ Саратовский научно-исследовательский институт кардиологии Минздрава России, г. Саратов, Россия.

Гриднев Владимир Иванович – докт. мед. наук, руководитель Центра продвижения новых кардиологических информационных технологий, ФГБУ Саратовский научно-исследовательский институт кардиологии Минздрава России, г. Саратов, Россия.

 

Поступила в редакцию: 20 марта 2014
Принята в печать: 26 мая 2014

© 2014, Посненкова О.М., Киселев А.Р., Гриднев В.И.

Ответственный автор:  Гриднев Владимир Иванович. Адрес для переписки: ФГБУ СарНИИК Минздрава России, 141, ул. Чернышевского, г. Саратов, 410028, Россия. Тел.: +7 (8452) 201 899. E-mail:  gridnev@cardio-it.ru