¿Esa carta que te envió tu médico? Quizás fue creado por inteligencia artificial.

Todos los días, los pacientes envían cientos de miles de mensajes a sus médicos a través de MyChart, una plataforma de comunicaciones que se encuentra en casi todos los hospitales de EE. UU.

Describen su dolor, revelan sus síntomas (la textura de la erupción, el color de las heces) y confían en el médico del otro lado. Para asesorarlos.

Pero cada vez más, ya no es el médico quien escribe las respuestas a estas cartas, al menos no del todo. Alrededor de 15.000 médicos y asistentes en más de 150 sistemas de salud están utilizando una nueva función de inteligencia artificial en MyChart para formular respuestas a dichos mensajes.

Muchos pacientes que reciben estas respuestas no se dan cuenta de que fueron escritas con la ayuda de inteligencia artificial. En entrevistas, funcionarios de varios sistemas de salud que utilizan MyChart reconocieron que no revelan que los mensajes contienen contenido generado por IA.

Esta tendencia preocupa a algunos expertos que temen que los médicos no estén lo suficientemente atentos para detectar errores potencialmente peligrosos en mensajes de importancia médica redactados por inteligencia artificial.

En una industria que ha utilizado ampliamente la inteligencia artificial para manejar tareas administrativas como resumir notas de citas o apelar denegaciones de seguros, los críticos temen que la adopción generalizada de la herramienta MyChart haya permitido que la inteligencia artificial interfiera con la toma de decisiones clínicas y las relaciones médico-paciente.

De hecho, se puede indicar a la herramienta que escriba con la voz de un médico específico, pero no siempre formula las respuestas correctas.

«El objetivo era liberarles tiempo para que pudieran dedicar más tiempo a hablar con los pacientes», dijo Athmiya Jayaram, investigador del Centro Hastings, un instituto de investigación de bioética en Garrison, Nueva York.

«En este caso, están tratando de ahorrar tiempo hablando con los pacientes utilizando IA generativa».

Durante el apogeo de la pandemia, cuando las citas en persona a menudo se reservaban para los pacientes más enfermos, muchos recurrieron a los mensajes de MyChart como una rara línea directa de comunicación con sus médicos.

Los proveedores de atención médica no se dieron cuenta de que tenían un problema hasta años después: incluso después de que la mayoría de los aspectos de la atención médica habían vuelto a la normalidad, todavía estaban inundados de mensajes de pacientes.

Los médicos, que ya estaban sobrecargados, pasaron de repente sus pausas para el almuerzo y las tardes respondiendo las cartas de los pacientes. Los líderes hospitalarios temían que si no encontraban una manera de reducir este trabajo extra (que a menudo no era facturable), las cartas de los pacientes podrían convertirse en un importante factor de agotamiento de los médicos.

Entonces, a principios de 2023, cuando Epic, el gigante del software que desarrolló la aplicación MyChart, comenzó a ofrecer una nueva herramienta que utiliza inteligencia artificial para generar respuestas, algunos de los centros médicos académicos más grandes del país estaban ansiosos por adoptarla.

En lugar de comenzar cada mensaje con una pantalla en blanco, el médico ve una respuesta generada automáticamente a la pregunta del paciente. La respuesta se genera utilizando una versión de GPT-4 (la tecnología subyacente de ChatGPT) que cumple con las leyes de privacidad médica.

La herramienta MyChart, llamada In Basket Art, utiliza el contexto de los mensajes anteriores de un paciente y la información de sus registros médicos electrónicos, como una lista de medicamentos, para crear un borrador que los proveedores de atención médica pueden aprobar o cambiar.

Al permitir que los médicos actúen como editores, los sistemas de atención médica esperan poder comunicar los mensajes de los pacientes más rápidamente y gastar menos energía mental en ello.

Esto fue parcialmente confirmado en los primeros estudios, que encontraron que el arte reducía Sentimientos de agotamiento y Carga cognitivapero esto no necesariamente ahorró tiempo.

Cientos de médicos de UC San Diego Health, más de cien proveedores de UW Health en Wisconsin y todos los médicos autorizados en los consultorios de atención primaria de Stanford Health Care, incluidos médicos, enfermeras y farmacéuticos, pueden acceder a la herramienta de inteligencia artificial.

Docenas de médicos de Northwestern Health, NYU Langone Health y UNC Health están experimentando con este arte mientras los líderes consideran una expansión más amplia.

En ausencia de una regulación federal sólida o de marcos éticos ampliamente aceptados, cada sistema de salud decide cómo probar la seguridad de una herramienta y si informar a los pacientes sobre su uso.

Algunos sistemas hospitalarios, como UC San Diego Health, colocan un aviso en la parte inferior de cada mensaje explicando que fue “generado automáticamente” y que fue revisado y editado por un médico.

«Personalmente, no veo ningún inconveniente en la transparencia», dijo el Dr. Christopher Longhurst, director de asuntos clínicos e innovación del sistema de salud.

En general, los pacientes se han mostrado receptivos a la nueva tecnología, afirmó. (Un médico recibió un correo electrónico que decía: “Yo Quiero ser el primero en felicitarlo por su asistente de conducción con IA y ser el primero en enviarle un mensaje de paciente generado por IA.

Otros sistemas, incluidos el Sistema de Salud de Stanford, el Sistema de Salud de la Universidad de Wisconsin, el Sistema de Salud de la Universidad de Carolina del Norte y el Sistema de Salud Langone de la Universidad de Nueva York, decidieron que notificar a los pacientes haría más daño que bien.

A algunos funcionarios les preocupa que los médicos puedan ver las exenciones de responsabilidad como una excusa para enviar mensajes a los pacientes sin verificarlos adecuadamente, dijo el Dr. Brian Patterson, director médico de IA clínica en UW Health.

Decir a los pacientes que un mensaje contiene contenido de IA puede disminuir el valor del consejo médico, incluso si está respaldado por sus médicos, dijo el Dr. Paul Testa, director de información médica de NYU Langone Health.

Para el Dr. Jayaram, descubrir el uso de esta herramienta se reduce a una simple pregunta: ¿Qué esperan los pacientes?

Cuando los pacientes envían un mensaje sobre su salud, dijo, dan por sentado que sus médicos tendrán en cuenta su historia, sus preferencias de tratamiento y su dinámica familiar, elementos intangibles que se obtienen de las relaciones a largo plazo.

«Cuando lees una nota médica, la lees en la voz de tu médico», dijo. «Si un paciente supiera que el mensaje que está intercambiando con su médico fue generado por inteligencia artificial, creo que se sentiría realmente traicionado. «

Para muchos sistemas de salud, la creación de un algoritmo que imite de manera convincente la “voz” de un médico en particular ayuda a que la herramienta sea útil. De hecho, Epic recientemente comenzó a darle a su herramienta mayor acceso a mensajes pasados, para que sus borradores puedan imitar el estilo de escritura individual de cada médico.

Brent Lamm, director de información de UNC Health, dijo que esto aborda quejas comunes que ha escuchado de los médicos: «No puedo expresar mi opinión personal» o «Conozco a este paciente desde hace siete años. Sabrán que no soy yo». «

Los administradores de atención médica a menudo se refieren a este arte como un uso de IA de bajo riesgo, ya que lo ideal es que el proveedor esté siempre leyendo borradores y corrigiendo errores.

Esta descripción preocupa a los investigadores que estudian cómo funcionan los humanos en relación con la inteligencia artificial. Esta descripción «va en contra de unos 50 años de investigación», dice Ken Holstein, profesor del Instituto de Interacción Humano-Computadora de la Universidad Carnegie Mellon.

Los humanos tienen una tendencia bien documentada, llamada sesgo de automatización, a aceptar las recomendaciones de un algoritmo incluso si entran en conflicto con su propia experiencia, dijo. Este sesgo puede hacer que los médicos sean menos críticos al revisar los borradores generados por la IA, lo que podría permitir que errores graves lleguen a los pacientes.

El arte no es inmune a los errores. estudio reciente Los investigadores descubrieron que siete de 116 borradores generados por IA contenían las llamadas alucinaciones, insultos que la tecnología es conocida por crear.

El Dr. Vinay Reddy, médico de familia de UNC Health, recuerda un caso en el que una paciente envió un mensaje a un colega para comprobar si necesitaba la vacuna contra la hepatitis B.

El borrador generado por IA confirmó con seguridad a la paciente que había recibido sus vacunas y había programado sus citas. Dijo que esto es completamente falso y ocurrió porque la modelo no tuvo acceso a sus registros de vacunación.

pequeño Un estudio publicado en The Lancet Digital Health Los investigadores descubrieron que GPT-4, el mismo modelo de IA subyacente a la herramienta Epic, cometía errores más graves al responder las preguntas de pacientes hipotéticos.

Los médicos que revisaron sus respuestas descubrieron que los borradores, si no se editan, podrían representar un riesgo grave el 7% de las veces.

Pero lo que tranquiliza al Dr. Eric Bohn, director de información sanitaria de Duke Health, es que el modelo produce borradores que todavía son de «calidad moderada», lo que, en su opinión, hace que los médicos se muestren escépticos y atentos a la hora de detectar errores.

En promedio, menos de un tercio de los borradores generados por IA se envían a los pacientes sin ser editados, según Epic, un indicador para los administradores de hospitales de que los médicos no sellan los mensajes.

«Una pregunta que tengo en mente es: ¿Qué pasa si la tecnología mejora? ¿Qué pasa si los médicos comienzan a relajar la guardia? ¿Los errores desaparecerán?».

Epic incorporó barreras de seguridad en la programación para evitar que Art brinde asesoramiento clínico, dijo Garrett Adams, vicepresidente de investigación y desarrollo de la compañía.

Adams dijo que la herramienta era más adecuada para responder preguntas administrativas comunes como «¿Cuándo es mi cita?» o «¿Puedo reprogramar mi cita de evaluación?»

Pero los investigadores no han podido desarrollar formas confiables de obligar a los modelos a seguir instrucciones, dijo el Dr. Holstein.

El Dr. Anand Chaudhary, quien ayudó a supervisar la implementación de ART en Duke Health, dijo que él y sus colegas modificaron repetidamente las instrucciones para evitar que la herramienta brindara asesoramiento clínico, con poco éxito.

«No importa cuánto lo intentamos, no pudimos eliminar su instinto de intentar ayudar», dijo.

Tres sistemas de salud dijeron al New York Times que habían eliminado algunas barreras de las directrices.

El Dr. Longhurst del Centro de Salud de UC San Diego dijo que el modelo “funcionó mejor” cuando se eliminó el lenguaje que ordenaba a Art no “responder con información clínica”. Los funcionarios se sintieron cómodos dándole más libertad a la IA porque sus mensajes eran revisados ​​por médicos.

El Dr. Christopher Sharp, director de información médica del sistema de atención médica, dijo que Stanford Health Care asumió un «riesgo deliberado» para permitir que ART «pensara más como un médico», después de que algunas restricciones estrictas parecieron hacer que sus borradores fueran genéricos e inútiles.

Más allá de las cuestiones de seguridad y transparencia, algunos bioéticos tienen preocupaciones más fundamentales: ¿Es así como queremos utilizar la IA en la medicina?

A diferencia de muchas otras herramientas sanitarias que dependen de la IA, el arte no está diseñado para mejorar los resultados clínicos (aunque un estudio sugirió que las respuestas pueden ser más efectivas). Empático y positivo), y no está estrictamente dirigido a tareas administrativas.

En cambio, la IA parece estar interfiriendo en los raros momentos en que los pacientes y los médicos pueden comunicarse entre sí directamente: el tipo de momentos que la tecnología debería permitir, dijo Daniel Schiff, codirector del Laboratorio de Gobernanza e IA Responsable de la Universidad Purdue.

“Incluso si fuera perfecto, ¿te gustaría automatizar una de las pocas formas en que todavía interactuamos entre nosotros?«