Skip to content

O
onlyoffice_core
Commit 93a49c4d authored by Sergey.Konovalov's avatar Sergey.Konovalov Committed by Alexander Trofimov
Browse files
Options

преобразование кодировок при открытии/сохранении txt/csv через icu; 

перенесена часть логики, в которой нужен FormatFrom, чтобы был только один checker.

git-svn-id: svn://fileserver/activex/AVS/Sources/TeamlabOffice/trunk/ServerComponents@64771 954022d7-b5bf-4e40-9824-e11837661b57
parent 4ef751dd
Hide whitespace changes
Inline Side-by-side
Showing with 58 additions and 181 deletions
ASCOfficePPTXFile/Editor/XmlWriter.h
View file @ 93a49c4d
#pragma once
#pragma once
#include "../../Common/DocxFormat/Source/SystemUtility/File.h"
#include "./BinReaderWriterDefines.h"
#include "../../DesktopEditor/graphics/IRenderer.h"
......@@ -66,7 +66,7 @@ namespace NSBinPptxRW
{
while ((m_lSizeCur + nSize) > m_lSize)
{
//m_lSize *= 2; - ..
//m_lSize *= 2; - бесконтрольно ..
m_lSize += (std::max)(nSize, (size_t) 1024);
}
int size_alloc = m_lSize * sizeof(wchar_t);
......@@ -74,7 +74,7 @@ namespace NSBinPptxRW
wchar_t* pRealloc = (wchar_t*)realloc(m_pData, size_alloc );
if (NULL != pRealloc)
{
//
// реаллок сработал
m_pData = pRealloc;
m_pDataCur = m_pData + m_lSizeCur;
}
......@@ -130,7 +130,7 @@ namespace NSBinPptxRW
}
AVSINLINE void WriteStringXML(const CString& strValue)
{
// (. )
// можно ускорить (см. как сделано в шейпах)
CString s = strValue;
s.Replace(_T("&"), _T("&"));
s.Replace(_T("'"), _T("'"));
......@@ -302,7 +302,7 @@ namespace NSBinPptxRW
}
AVSINLINE void WriteStringXML(CString strValue)
{
// (. )
// можно ускорить (см. как сделано в шейпах)
CString s = strValue;
s.Replace(_T("&"), _T("&"));
s.Replace(_T("'"), _T("'"));
......@@ -557,43 +557,12 @@ namespace NSBinPptxRW
else
{
CDirectory::SaveToFile(strFilePath, strData);
int nLength = strData.GetLength();
CStringA saStr;
#if defined(_WIN32) || defined (_WIN64)
#ifdef UNICODE
// Encoding Unicode to UTF-8
WideCharToMultiByte(CP_UTF8, 0, strData.GetBuffer(), nLength + 1, saStr.GetBuffer(nLength*3 + 1), nLength*3, NULL, NULL);
saStr.ReleaseBuffer();
#else
wchar_t* pWStr = new wchar_t[nLength + 1];
if (!pWStr)
return;
// set end string
pWStr[nLength] = 0;
// Encoding ASCII to Unicode
MultiByteToWideChar(CP_ACP, 0, strData, nLength, pWStr, nLength);
int nLengthW = (int)wcslen(pWStr);
// Encoding Unicode to UTF-8
WideCharToMultiByte(CP_UTF8, 0, pWStr, nLengthW + 1, saStr.GetBuffer(nLengthW*3 + 1), nLengthW*3, NULL, NULL);
saStr.ReleaseBuffer();
delete[] pWStr;
#endif
#else
saStr = stringWstingToUtf8String(strData);
#endif
CFile oFile;
oFile.CreateFile(strFilePath);
CString strHead = _T("<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>");
oFile.WriteStringUTF8(strHead);
oFile.WriteFile((void*)saStr.GetBuffer(), saStr.GetLength());
oFile.WriteStringUTF8(strData);
oFile.CloseFile();
}
......@@ -750,7 +719,7 @@ namespace NSBinPptxRW
void ReplaceString(CString str1, CString str2)
{
// . . .
// ужасная функция. вызывать ее не надо. не для этого класс писался.
CString sCur = m_oWriter.GetData();
sCur.Replace(str1, str2);
ClearNoAttack();
......
ASCOfficeTxtFile/TxtXmlFormatLib/Source/Common/Encoding.cpp
View file @ 93a49c4d
......@@ -11,6 +11,8 @@
#endif
#include "../../../Common/DocxFormat/Source/Base/unicode_util.h"
#include "../../../UnicodeConverter/UnicodeConverter.h"
#include "../../../UnicodeConverter/UnicodeConverter_Encodings.h"
const std::wstring Encoding::ansi2unicode(const std::string& line)
......@@ -20,56 +22,9 @@ const std::wstring Encoding::ansi2unicode(const std::string& line)
const std::wstring Encoding::cp2unicode(const std::string& sline, const unsigned int nCodepage)
{
#if defined (_WIN32) || defined (_WIN64)
const int nSize = MultiByteToWideChar(nCodepage, 0, sline.c_str(), sline.size(), NULL, 0);
wchar_t *sTemp = new wchar_t[nSize];
if (!sTemp)
return std::wstring();
int size = MultiByteToWideChar(nCodepage, 0, sline.c_str(), sline.size(), sTemp, nSize);
std::wstring sResult(sTemp, size);
delete []sTemp;
return sResult;
#else
bool ansi = true;
size_t insize = sline.length();
std::wstring w_out;
char *inptr = (char*)sline.c_str();
if (nCodepage >= 0)
{
std::string sCodepage = "CP" + std::to_string(nCodepage);
iconv_t ic= iconv_open("WCHAR_T", sCodepage.c_str());
if (ic != (iconv_t) -1)
{
size_t nconv = 0, avail = (insize + 1) * sizeof(wchar_t);
char* out_str = new char[avail];
char* outptr = out_str;
nconv = iconv (ic, &inptr, &insize, &outptr, &avail);
if (nconv == 0)
{
insize = sline.length();
((wchar_t*)out_str)[insize] = 0;
w_out = std::wstring((wchar_t*)out_str, insize);
ansi = false;
}
iconv_close(ic);
delete []out_str;
}
}
if (ansi)
w_out = std::wstring(sline.begin(), sline.end());
return w_out;
#endif
const NSUnicodeConverter::EncodindId& oEncodindId = NSUnicodeConverter::Encodings[nCodepage];
NSUnicodeConverter::CUnicodeConverter oUnicodeConverter;
return oUnicodeConverter.toUnicode(sline, oEncodindId.Name);
}
......@@ -201,47 +156,7 @@ const std::string Encoding::unicode2utf8(const std::wstring& line)
const std::string Encoding::unicode2cp(const std::wstring& sLine, const unsigned int nCodepage)
{
#if defined (_WIN32) || defined (_WIN64)
const int nSize = WideCharToMultiByte(nCodepage, 0, sLine.c_str(), sLine.length(), NULL, 0, NULL, NULL);
char *sTemp = new char[nSize];
if (!sTemp)
return std::string();
int size = WideCharToMultiByte(nCodepage, 0, sLine.c_str(), sLine.length(), sTemp, nSize, NULL, NULL);
std::string sResult(sTemp, size);
delete []sTemp;
return sResult;
#else
std::string out;
bool ansi = true;
size_t insize = sLine.length();
out.reserve(insize);
char *inptr = (char*)sLine.c_str();
char* outptr = (char*)out.c_str();
if (nCodepage >= 0)
{
std::string sCodepage = "CP" + std::to_string(nCodepage);
iconv_t ic= iconv_open(sCodepage.c_str(), "WCHAR_T");
if (ic != (iconv_t) -1)
{
size_t nconv = 0, avail = insize * sizeof(wchar_t);
nconv = iconv (ic, &inptr, &insize, &outptr, &avail);
if (nconv == 0) ansi = false;
iconv_close(ic);
}
}
if (ansi)
out = std::string(sLine.begin(), sLine.end());
return out;
#endif
const NSUnicodeConverter::EncodindId& oEncodindId = NSUnicodeConverter::Encodings[nCodepage];
NSUnicodeConverter::CUnicodeConverter oUnicodeConverter;
return oUnicodeConverter.fromUnicode(sLine, oEncodindId.Name);
}
Common/OfficeFileErrorDescription.h
View file @ 93a49c4d
#pragma once
#pragma once
#ifdef MAKE_HRESULT
#define AVS_ERROR_FIRST MAKE_HRESULT(SEVERITY_ERROR, FACILITY_ITF, 0x0300)
......@@ -16,36 +16,36 @@
// AVSOfficeUniversalConverter 0x0050 - 0x0075
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST (AVS_ERROR_FIRST + 0x0050)
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_XML_FORMAT (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0001) // XML
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_CREATE_TEMP_DIR (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0002) //
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_REMOVE_TEMP_DIR (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0003) //
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_CONVERT_THIS_FORMATS (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0004) //
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_LOAD_FILE (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0004) //
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_SAVE_FILE (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0004) //
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_ADVERTISE (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0005) //
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_COPY (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0006) // source destination( )
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_CREATE_EXTR_DIR (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0007) // source destination( )
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_XML_FORMAT (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0001) //Входная XML имеет неправильный формат
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_CREATE_TEMP_DIR (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0002) //Ошибка при создании темповой директории
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_REMOVE_TEMP_DIR (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0003) //Ошибка при удалении темповой директории
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_CONVERT_THIS_FORMATS (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0004) //Не поддерживается конвертация данных типов файлов
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_LOAD_FILE (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0004) //Не поддерживается конвертация данных типов файлов
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_SAVE_FILE (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0004) //Не поддерживается конвертация данных типов файлов
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_ADVERTISE (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0005) //при добавлении рекламы
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_COPY (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0006) //ошибка при копировании source в destination( копируются когда их тип совпадает )
#define AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_CREATE_EXTR_DIR (AVS_UNIVERSALDOCUMENTCONVERTER_ERROR_FIRST + 0x0007) //ошибка при копировании source в destination( копируются когда их тип совпадает )
// AVSOfficeFile 0x0075 - 0x00100
#define AVS_OFFICEFILE_ERROR_FIRST (AVS_ERROR_FIRST + 0x0075)
#define AVS_OFFICEFILE_ERROR_CREATE_TEMP (AVS_OFFICEFILE_ERROR_FIRST + 0x0001) //
#define AVS_OFFICEFILE_ERROR_UNSUPPORTED_LOAD_FORMAT (AVS_OFFICEFILE_ERROR_FIRST + 0x0002) //
#define AVS_OFFICEFILE_ERROR_UNSUPPORTED_SAVE_FORMAT (AVS_OFFICEFILE_ERROR_FIRST + 0x0003) //
#define AVS_OFFICEFILE_ERROR_SAVE_EMPTY (AVS_OFFICEFILE_ERROR_FIRST + 0x0004) //
#define AVS_OFFICEFILE_ERROR_PRINT_OUT_OF_AREA (AVS_OFFICEFILE_ERROR_FIRST + 0x0005) //
#define AVS_OFFICEFILE_ERROR_CREATE_TEMP (AVS_OFFICEFILE_ERROR_FIRST + 0x0001) //Ошибка при создании темповой директории или файла
#define AVS_OFFICEFILE_ERROR_UNSUPPORTED_LOAD_FORMAT (AVS_OFFICEFILE_ERROR_FIRST + 0x0002) //Формат файла не поддерживается
#define AVS_OFFICEFILE_ERROR_UNSUPPORTED_SAVE_FORMAT (AVS_OFFICEFILE_ERROR_FIRST + 0x0003) //Формат файла не поддерживается
#define AVS_OFFICEFILE_ERROR_SAVE_EMPTY (AVS_OFFICEFILE_ERROR_FIRST + 0x0004) //Формат файла не поддерживается
#define AVS_OFFICEFILE_ERROR_PRINT_OUT_OF_AREA (AVS_OFFICEFILE_ERROR_FIRST + 0x0005) //печать за границами области печати
// AVSOdtFile 0x0100 - 0x0200
#define AVS_ODTFILE_ERROR_INPUT_FILE (AVS_ERROR_FIRST + 0x0100) //
#define AVS_ODTFILE_ERROR_ORIGIN_FILE (AVS_ERROR_FIRST + 0x0101) //
#define AVS_ODTFILE_ERROR_CONVERT (AVS_ERROR_FIRST + 0x0102) //
#define AVS_ODTFILE_ERROR_INPUT_FILE (AVS_ERROR_FIRST + 0x0100) // Ошибка в входном файле
#define AVS_ODTFILE_ERROR_ORIGIN_FILE (AVS_ERROR_FIRST + 0x0101) // Ошибка в шаблоном файле
#define AVS_ODTFILE_ERROR_CONVERT (AVS_ERROR_FIRST + 0x0102) // Ошибка при конвертации
// AVSTxtFile 0x0200 - 0x0300
#define AVS_TXTFILE_ERROR_INPUT_FILE (AVS_ERROR_FIRST + 0x0200) //
#define AVS_TXTFILE_ERROR_ORIGIN_FILE (AVS_ERROR_FIRST + 0x0201) //
#define AVS_TXTFILE_ERROR_CONVERT (AVS_ERROR_FIRST + 0x0202) //
#define AVS_TXTFILE_ERROR_INPUT_FILE (AVS_ERROR_FIRST + 0x0200) // Ошибка в входном файле
#define AVS_TXTFILE_ERROR_ORIGIN_FILE (AVS_ERROR_FIRST + 0x0201) // Ошибка в шаблоном файле
#define AVS_TXTFILE_ERROR_CONVERT (AVS_ERROR_FIRST + 0x0202) // Ошибка при конвертации
// AVSOfficePDFWriter 0x0300 - 0x0400
......@@ -194,6 +194,12 @@
#define AVS_FILEUTILS_ERROR_FIRST 0x1000
#define AVS_FILEUTILS_ERROR_UNKNOWN (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0001)
#define AVS_FILEUTILS_ERROR_CONVERT (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0050)
#define AVS_FILEUTILS_ERROR_CONVERT_DOWNLOAD (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0051)
#define AVS_FILEUTILS_ERROR_CONVERT_UNKNOWN_FORMAT (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0052)
#define AVS_FILEUTILS_ERROR_CONVERT_TIMEOUT (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0053)
#define AVS_FILEUTILS_ERROR_CONVERT_READ_FILE (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0054)
#define AVS_FILEUTILS_ERROR_CONVERT_MS_OFFCRYPTO (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0055)
#define AVS_FILEUTILS_ERROR_CONVERT_CORRUPTED (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0056)
#define AVS_FILEUTILS_ERROR_CONVERT_LIBREOFFICE (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0057)
#define AVS_FILEUTILS_ERROR_CONVERT_PARAMS (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0058)
#define AVS_FILEUTILS_ERROR_CONVERT_NEED_PARAMS (AVS_ERROR_FIRST + AVS_FILEUTILS_ERROR_FIRST + 0x0059)
Common/OfficeFileFormatChecker.h
View file @ 93a49c4d
......@@ -38,6 +38,7 @@ private:
bool isDocFormatFile (POLE::Storage *storage);
bool isXlsFormatFile (POLE::Storage *storage);
bool isPptFormatFile (POLE::Storage *storage);
bool isMS_OFFCRYPTOFormatFile (POLE::Storage * storage);
bool isRtfFormatFile (unsigned char* pBuffer,int dwBytes);
bool isHtmlFormatFile (unsigned char* pBuffer,int dwBytes);
......
Common/OfficeFileFormats.h
View file @ 93a49c4d
......@@ -49,6 +49,7 @@
#define AVS_OFFICESTUDIO_FILE_IMAGE_PCX AVS_OFFICESTUDIO_FILE_IMAGE + 0x000a
#define AVS_OFFICESTUDIO_FILE_IMAGE_RAS AVS_OFFICESTUDIO_FILE_IMAGE + 0x000b
#define AVS_OFFICESTUDIO_FILE_IMAGE_PSD AVS_OFFICESTUDIO_FILE_IMAGE + 0x000c
#define AVS_OFFICESTUDIO_FILE_IMAGE_ICO AVS_OFFICESTUDIO_FILE_IMAGE + 0x000d
#define AVS_OFFICESTUDIO_FILE_OTHER 0x0800
#define AVS_OFFICESTUDIO_FILE_OTHER_EXTRACT_IMAGE AVS_OFFICESTUDIO_FILE_OTHER + 0x0001
......
XlsxSerializerCom/Reader/CSVReader.cpp
View file @ 93a49c4d
......@@ -2,6 +2,8 @@
#include <map>
#include "../../DesktopEditor/common/File.h"
#include "../../UnicodeConverter/UnicodeConverter.h"
#include "../../UnicodeConverter/UnicodeConverter_Encodings.h"
namespace CSVReader
{
......@@ -115,17 +117,12 @@ namespace CSVReader
BYTE* pFileData = new BYTE[oFile.GetFileSize()];
oFile.ReadFile(pFileData, oFile.GetFileSize(), nFileSize);
oFile.CloseFile();
//todo
#if defined(_WIN32) || defined (_WIN64)
INT nSize = MultiByteToWideChar(nCodePage, 0, (LPCSTR)pFileData, nFileSize, NULL, 0);
WCHAR *pTemp = new WCHAR [nSize];
memset(pTemp, 0, sizeof(WCHAR) * nSize);
MultiByteToWideChar (nCodePage, 0, (LPCSTR)pFileData, nFileSize, pTemp, nSize);
#else
std::wstring sFileDataW = NSFile::CUtf8Converter::GetUnicodeStringFromUTF8(pFileData, nFileSize);
INT nSize = sFileDataW.length();
const WCHAR *pTemp = sFileDataW.c_str();
#endif
const NSUnicodeConverter::EncodindId& oEncodindId = NSUnicodeConverter::Encodings[nCodePage];
NSUnicodeConverter::CUnicodeConverter oUnicodeConverter;
std::wstring sFileDataW = oUnicodeConverter.toUnicode((const char*)pFileData, nFileSize, oEncodindId.Name);
INT nSize = sFileDataW.length();
const WCHAR *pTemp =sFileDataW.c_str();
const WCHAR wcNewLineN = _T('\n');
const WCHAR wcNewLineR = _T('\r');
......@@ -231,9 +228,6 @@ namespace CSVReader
{
RELEASEOBJECT(pRow);
}
#if defined(_WIN32) || defined (_WIN64)
RELEASEARRAYOBJECTS(pTemp);
#endif
}
std::map<CString, OOX::Spreadsheet::CWorksheet*> &arrWorksheets = oXlsx.GetWorksheets();
......
XlsxSerializerCom/Writer/CSVWriter.cpp
View file @ 93a49c4d
#include "CSVWriter.h"
#include "../../UnicodeConverter/UnicodeConverter.h"
#include "../../UnicodeConverter/UnicodeConverter_Encodings.h"
namespace CSVWriter
{
......@@ -28,21 +30,10 @@ namespace CSVWriter
}
else
{
//todo
#if defined(_WIN32) || defined (_WIN64)
INT nSize = WideCharToMultiByte(nCodePage, 0, *pWriteBuffer, nCurrentIndex, NULL, NULL, NULL, NULL);
CHAR *pString = new CHAR [nSize];
memset(pString, 0, sizeof (CHAR) * nSize);
WideCharToMultiByte (nCodePage, 0, *pWriteBuffer, -1, pString, nSize, NULL, NULL);
pFile->WriteFile((BYTE*)pString, sizeof (CHAR) * nSize);
RELEASEARRAYOBJECTS(pString);
#else
BYTE* pUtf8 = NULL;
long nUtf8Size;
NSFile::CUtf8Converter::GetUtf8StringFromUnicode(*pWriteBuffer, nCurrentIndex, pUtf8, nUtf8Size);
pFile->WriteFile(pUtf8, nUtf8Size);
RELEASEARRAYOBJECTS(pUtf8);
#endif
const NSUnicodeConverter::EncodindId& oEncodindId = NSUnicodeConverter::Encodings[nCodePage];
NSUnicodeConverter::CUnicodeConverter oUnicodeConverter;
std::string sFileDataA = oUnicodeConverter.fromUnicode(*pWriteBuffer, nCurrentIndex, oEncodindId.Name);
pFile->WriteFile((BYTE*)sFileDataA.c_str(), sizeof (CHAR) * sFileDataA.length());
}
memset(*pWriteBuffer, 0, nSizeWchar * c_nSize);
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment
GitLab Nexedi Edition | About GitLab | About Nexedi | 沪ICP备2021021310号-2 | 沪ICP备2021021310号-7