Целые числа или вещественные? Во втором случае чуть-чуть посложнее ввод-вывод.
Да! И модель памяти? Или еще какие особые требования ...

Целые числа, модель памяти (tiny, small)Больше не каких

код хорошо бы поменьше сделать :)

Вы не указали ОС (линукс, DOS, ...). И синтаксис языка, на котором вам нужна эта программа.
Вот ваша задача на fasm под win x64:
x, y - целые, без знаковые числа, по 16 десятичных разрядов
z -целое, знаковое, 32десятичных разряда
[code h=200]
format PE64 GUI 5.0
entry start

include '%fasminc%\win64a.inc'

section '.text' code readable executable

start:
sub rsp,8

invoke GetModuleHandle,0
mov [wc.hInstance],rax
invoke LoadIcon,0,IDI_APPLICATION
mov [wc.hIcon],rax
mov [wc.hIconSm],rax
invoke LoadCursor,0,IDC_ARROW
mov [wc.hCursor],rax
invoke RegisterClassEx,wc
test rax,rax
jz error

invoke CreateWindowEx,WS_EX_CONTROLPARENT,_class,_title,WS_VISIBLE+WS_DLGFRAME+WS_SYSMENU,100h,100h,130h,58h,0,0,[wc.hInstance],0
test rax,rax
jz error

msg_loop:
invoke GetMessage,msg,NULL,0,0
cmp eax,1
jb end_loop
jne msg_loop
invoke TranslateMessage,msg
invoke DispatchMessage,msg
jmp msg_loop

error:
invoke MessageBox,0,_error,0,MB_ICONERROR+MB_OK

end_loop:
invoke ExitProcess,[msg.wParam]

proc WindowProc uses rbx rsi rdi, hwnd,wmsg,wparam,lparam
mov [hwnd],rcx
mov [wmsg],rdx
mov [wparam],r8
mov [lparam],r9

cmp edx,WM_DESTROY
je _wmdestroy
cmp edx,WM_CREATE
je _wmcreate
cmp edx,WM_COMMAND
je _wmcommand
_defwndproc:
invoke DefWindowProc,rcx,rdx,r8,r9
jmp _finish
_wmcreate:
invoke CreateWindowEx,0,_clasedit,0,WS_VISIBLE or WS_CHILD or ES_RIGHT or ES_NUMBER,4,4,80h,10h,[hwnd],0,[wc.hInstance],0
mov [hwnd_x],rax
invoke CreateWindowEx,0,_classstatic,_title1,WS_VISIBLE or WS_CHILD,86h,4,20h,10h,[hwnd],0,[wc.hInstance],0
invoke CreateWindowEx,0,_clasedit,0,WS_VISIBLE or WS_CHILD or ES_NUMBER,0A6h,4,80h,10h,[hwnd],0,[wc.hInstance],0
mov [hwnd_y],rax
invoke CreateWindowEx,0,_classstatic,_title2,WS_VISIBLE or WS_CHILD or SS_CENTER,4,20h,120h,10h,[hwnd],0,[wc.hInstance],0
mov [hwnd_z],rax
invoke GetDC,rax
mov [_int_z],rax
jmp _finish
_wmcommand:
cmp r9,[hwnd_y]
jz @F
cmp r9,[hwnd_x]
jnz _finish
@@:
mov qword[text_x],0
mov qword[text_y],0
mov qword[text_x+8],0
mov qword[text_y+8],0
invoke GetWindowText,[hwnd_x],text_x,11h
mov [len_x],eax
invoke GetWindowText,[hwnd_y],text_y,11h
mov [len_y],eax
xor ebx,ebx
xor eax,eax
xor ecx,ecx
cikl_x:
imul rbx,0Ah
mov al,byte[text_x+rcx]
and al,0Fh
add rbx,rax
inc ecx
cmp ecx,[len_x]
jl cikl_x
mov rax,rbx
mul rbx
mov r8,rax
mov r9,rdx

xor ebx,ebx
xor eax,eax
xor ecx,ecx
cikl_y:
imul rbx,0Ah
mov al,byte[text_y+rcx]
and al,0Fh
add rbx,rax
inc ecx
cmp ecx,[len_y]
jl cikl_y
shl rbx,2
sub r8,rbx
jnc @F
neg r8
dec r9
jns @F
inc r9
mov byte[_title2+1],'-'
@@:
std
mov rdi,_title2+21h
mov ecx,20h
;mov r8,rax
mov ebx,0Ah
mov rax,r9
_div:
xor edx,edx
div rbx
mov r9,rax
mov rax,r8
div rbx
mov r8,rax
mov al,dl
or al,30h
stosb
mov rax,r9
loop _div
mov al,30h
dec ecx
cld
inc rdi
rep scasb
dec rdi
mov rsi,rdi
mov rdi,_title2+2

_clea_zero:
movsb
cmp rsi,_title2+22h
jl _clea_zero
@@:
xor eax,eax
stosb
invoke SetWindowText,[hwnd_z],_title2
mov qword[_title2],'= '
jmp _finish
_wmdestroy:
invoke PostQuitMessage,0
xor eax,eax
_finish:
ret
endp

section '.data' data readable writeable

_title TCHAR 'z=(x^2)-4y',0
_title1 TCHAR '^2-4*',0
_title2 TCHAR '= ',0
rb 22h
_class TCHAR 'FASMWIN64',0
_clasedit TCHAR 'EDIT',0
_classstatic TCHAR 'STATIC',0
_error TCHAR 'Startup failed.',0

wc WNDCLASSEX sizeof.WNDCLASSEX,0,WindowProc,0,0,0,0,0,COLOR_BTNFACE+1,0,_class,0

msg MSG

section '.idata' import data readable writeable

library kernel32,'KERNEL32.DLL',\
user32,'USER32.DLL'

include '%fasminc%\api\kernel32.inc'
include '%fasminc%\api\user32.inc'

section 'noinit' data readable writeable
len_x dd ?
len_y dd ?
hwnd_x dq ?
hwnd_y dq ?
hwnd_z dq ?
_int_z dq ?
text_x rw 10h
text_y rw 10h
[/code]

Могу под x86 написать, только это посложнее будет

ой, извините пожалуйста, tasm (dos)

Если модель память tiny, то явно речь идет о ДОС.
Вы не находите?

Когда я прочитал задание, этого ещо не было.

mov di, 80*2 ;первая колонка второй строки
lea si, sEnterY ;приглашение для ввода Y
call EnterNum ;введем число в AX
sal ax, 2 ;умножим на 4!
mov y, ax
Выдает ошибку на mov di, 80*2
Rotate count out of range

Чем ассемблируете?
Напишите, в конце концов, mov di, 160
Аналогично, в других местах

хм не помогаетtasm ругается все равно

Тогда "залейте" свой исходник на сервер в "мои файлы" и дайте ссылку.
Гляну, что там у Вас получается...

прикрепил

Все понятно
Проблема не в mov di, 80*2 (можете вернуть, как было)
А в sal ax,2.
Дело в том, что для процессора 86-го, а именно он считается заданным, если не указано что-то другое, данная команда не работает.
Можно только sal ax,1 или sal ax,cl
Некоторые ассемблеры (мой tasm 4.1, например) данную проблему обходят, задавая автоматом несколько команд sal ax,1
Ваш же, версии 2.0, этого не делает...
Короче, запишите вместо указанной команды две sal ax,1 и все пойдет

спасибо большое, все заработало)

Странно, но из всех новых команд 186-го процессора:

В процессорах семейства i186 был расширен набор команд. Были добавлены дополнительные команды работы со стеком (PUSHA, POPA PUSH), с портами ввода-вывода (INS, OUTS), арифметические команды (IMUL, ROL/ROR, RCL/RCR, SAL/SAR, SHL/SHR с непосредственно указанным числом бит сдвига) и команды реализации языков высокого уровня (ENTER, LEAVE, BOUND).

Т4.1 не раегирует именно на выделеные команды, остальные команды определяются как не соответсвующие выбраному процессору.

Т2.0 четко реагирует на них.

Скорее всего, Т2.0, выпуска 1990 года, в то время было слишком много РС с различными процессорами семейства х86+ и такая строгость к коду была необходима. Т4.1 выпуска 1996 года, уже существенно увеличилось количество х286 процессоров и соответсвенно разработчики решили, что эти команды можно отнести к процессору х86, для уменьшения размера кода.

Ничего странного... Просто в Borland-е посчитали, что указанные команды легко заменить на эквивалентную последовательность соответствующих команд. С другими же не захотели связываться.