Здравствуйте, Земцов Дмитрий Анатольевич.
Всегда приятно не делать за кого-то, а помочь разобраться... Итак:
1) Совершенно верно, при создании имя файла хранится в DS:DX, т.е. используются длинные указатели.
Поэтому при прехвате там его надо и искать.
2) Сравнивать две строки лучше всего следующим образом
Не забываем о том, что работаем в прерывании, поэтому сохраняем все используемые регистры
3) В принципе, верно: устанавливаем CF=1 и даем код ошибки в AX.
Только код надо давать не любой, а соответствующий. Лучше всего, пожалуй, подойдет 5 (Access denied)
4) Код вполне рабочий, за исключением:
Меняем вектор прерывания 21h, а не 3Ch, поэтому надо писать MOV AX,3521h и, соответственно, MOV AX,2521h
Только код же ничего не делает :)
Надо же, хотя бы, проверять на номер перехватываемой функции...
5) Файл можно еще создать при помощи функции 16h
6) Желательно принимать меры, чтобы резидент не устанавливался повторно и/или имел возможность выгрузиться
Удачи!
В приложении исправленная Ваша программа

Приложение:
model tiny
.code
.186
org 100h
begin:
jmp init
;данные о старом векторе
old_vec21 label dword
old_21o dw ?
old_21s dw ?
;контролируемая строка
check_name db 'check.txt',0

;наш обработчик
new_vec21:
cmp ah,3Ch
jne notInt

;наша функция
isInterupt:
pusha
push es
mov si,DX
push cs
pop es
mov di,offset check_name
mov cx,10
repe cmpsb
jne notintf

Equal:
pop es
mov bp,sp
or byte ptr [bp+20],1
popa
mov ax,5
iret

notintf:
pop es
popa
notInt:
jmp cs:old_vec21

;инициализация
init: mov ax,3521h
int 21h
;запоминаем старый вектор
mov old_21o,bx
mov old_21s,es
;контролируем присутсвие
mov cx,9h
mov si,107h
mov di,107h
repe cmpsb
jz isStop
;сообщение о начале работы
isGo: mov ah,9
mov dx,offset dbMessageGo
int 21h
;ставим свой вектор
mov ax,2521h
mov dx,offset new_vec21
int 21h
;выходим
mov dx,offset init
int 27h

dbMessageGo db 'interupt set up$'
dbMessageNo db 'Im here$'

;сообщаем о повторе
isStop: mov ah,9
mov dx,offset dbMessageNo
int 21h
xor ax,ax
int 16h
ret
end begin

Здравствуйте, Земцов Дмитрий Анатольевич.

В дополнение ответа Игоря Витальевича, в приложении код, который:
- устанавливает свой обработчик;
- контролирует повторный запуск;
- контролирует функцию создания файла 3С и подменяет её;
- возвращает стандартную ошибку.
Приблизительно так это работает:

Контроль повторного запуска, приведен в учебных целях, как возможный вариант, но он не дает полной гарантии, т.к. вполне возможен перехват другим резидентом. Но он показывает способ сравнения строк.

В регистрах DS:DX хранится адрес памяти с именем файла, но тамже может хранится дополнительно ещё и путь к нему, т.е. приблизительно в таком виде D:\_CAT\_LANG\my_LIB\check.txt. Если путь к файлу не указан, то файл создается в текущем каталоге, иначе в указаном. Этот момент тоже нужно учитывать при анализе имени файла.

Удачи!

Приложение:
model tiny
.code
.186
org 100h
begin: jmp init
;данные о старом векторе
old_vec21 label dword
old_21o dw ?
old_21s dw ?
;контролируемая строка
check_name db 'check.txt',0
check_size equ $-check_name
control_message db 'illegal file name : $'
;наш обработчик
new_vec21: cmp ah,3ch
jz isInterupt
jmp cs:old_vec21
;наша функция
isInterupt: pusha
push ds
;востанавливаем наш сегмент памяти
push cs
pop ds
;выводим сообщение
mov ah,9
pushf
mov dx,offset control_message
call cs:old_vec21
;выходим из прерывания
pop ds
mov bp,sp
mov ax,[bp+20]
or ax,1
mov [bp+20],ax
popa
iret
;инициализация
init: mov ax,3521h
int 21h
;запоминаем старый вектор
mov old_21o,bx
mov old_21s,es
;контролируем присутсвие
mov cx,check_size
mov si,107h
mov di,107h
repe cmpsb
or cx,cx
jz isStop
;сообщение о начале работы
isGo: mov ah,9
mov dx,offset dbMessageGo
int 21h
;ставим свой вектор
mov ax,2521h
mov dx,offset new_vec21
int 21h
;выходим
mov dx,offset init
int 27h
dbMessageGo db 'interupt set up$'
dbMessageNo db 'Im here$'
;сообщаем о повторе
isStop: mov ah,9
mov dx,offset dbMessageNo
int 21h
xor ax,ax
int 16h
ret
end begin