@REPLY: 2:280/5555 6aa5afb6
@MSGID: 2:5075/35@fidonet 6aa5b423
@CHRS: UTF-8 4
@TZUTC: 0300
@REALNAME: ╨Х╨▓╨│╨╡╨╜╨╕╨╣ ╨б╤Г╨▒╨▒╨╛╤В╨╕╨╜
@TID: hpt/nbsd 1.9 2024-03-02
Hello Michiel!

Saturday September 12 2026 22:00, you wrote to me:

 ES>> fixed: UCS kludges will follow FTS-0001, not the local base
 ES>> abilities.

 MvdV> Ah, I didn`t realize this was a bug, I thought it was by design...

 MvdV> OK, fixed is fixed!  ;-)

Also, in the new release:

Add XLATUTFAUTODETECT MIXED: each paragraph and header field judged on its own

Mail that quotes UTF-8 into a CP866 reply and declares CP866 for the
lot is a shape that turns up now: the subject and the quoted lines in
UTF-8, the author`s own lines in CP866, one CHRS kludge over all of
it. A single decision per message cannot read that; the whole text is
not valid UTF-8, so the kludge stands and every UTF-8 line comes out
as box-drawing characters.

With MIXED the reader decides for every stretch of a paragraph and for
every header field separately. A single-byte message with a stretch
that is UTF-8 by the usual test - every high byte in a well-formed
sequence, at least one, every character plausible - has it read as
UTF-8; a UTF-8 message with a stretch that is not valid UTF-8 has it
read as the area`s XLATIMPORT. The message list and the thread tree
judge the header fields the same way, so they agree with the reader.
MIXED includes OVERRIDE.

A stretch is judged without the CJK ideographs: three lower-case CP866
letters starting at ╤Г..╤Й form a well-formed sequence that decodes to
one - "╤Д╨╡╨▓" in every quote header of a February - and a stretch is too
short to be saved by the rest of the message. Measured on a base of
98 000 messages, 600 000 paragraphs of Russian echomail: 81 stretches
changed charset by mistake with the ideographs, none without. The
whole-message test keeps them.

Combining diacritical marks join the plausible ranges: a letter with
U+0308 on it was rejecting the line that carried it. The UTF-8 test
gains a bounded form for a stretch that is not NUL-terminated.

Experimental, and documented as such: a box-drawing character right
before a lower-case letter still passes, and is then one wrong line,
not a wrong message.


Eugene

... It`s full of stars!
--- GoldED+/BSD 2.0.0-b20260912 (NetBSD 11.0 Intel Core Haswell)
 * Origin: FireFox Station (2:5075/35)
SEEN-BY: 154/10 203/0 240/5832 280/464 5003 5555
292/789 301/1 310/31 341/66
SEEN-BY: 460/58 5001/100 5015/46 5019/40 5020/715
1042 5452 9696 5023/24
SEEN-BY: 5030/1081 5051/44 5075/21 35 6035/3
@PATH: 5075/35 280/5555 5020/715