Как в Golang записывать в MySql Unicode?

Question

Юлия Коваленко @kovalenko_jul_s

Как в Golang записывать в MySql Unicode?

У меня есть структура данных в go.
Я делаю json.Marshal(data), а затем пытаюсь записать эту строчку в MySql.
Делаю это так:

data_json, err := json.Marshal(data)

db, err := sql.Open("mysql", ...)

stmt, err := db.Prepare("INSERT INTO my_table (data) VALUES (?)")

res, err = stmt.Exec(data_json)

Кодировка таблицы utf8_unicode_ci.

Какой-то символ в строке ломает это всё, и я получаю ошибку:

Error 1366: Incorrect string value: '\xF0\x9F\x8E\x81 \xD0...' for column 'data' at row 1

Как мне удалить/заменить такие символы в строке data_json?

Вопрос задан более трёх лет назад
638 просмотров

Комментировать

Подписаться 1 Оценить Комментировать

Решения вопроса 1

Комментировать

Пригласить эксперта

Ответы на вопрос 1

8 комментариев

Юлия Коваленко @kovalenko_jul_s Автор вопроса
res, err = stmt.Exec(string(data_json)) так пробовала.
Ещё пробовала
sql := "INSERT INTO my_table (data) VALUES (%s)" db.Query(fmt.Sprintf(sql, data_json))

Тоже самое.
Написано более трёх лет назад

RidgeA @RidgeA

Базу создал так

CREATE SCHEMA test
  DEFAULT CHARACTER SET utf8
  DEFAULT COLLATE utf8_unicode_ci;

USE test;

create table test (
  id INT PRIMARY KEY AUTO_INCREMENT,
  `data` VARCHAR(256)
) CHARACTER SET utf8;

select * from test.test

вот код

package main

import (
	"fmt"
	"net/http"
	"database/sql"
	_ "github.com/go-sql-driver/mysql"
	"encoding/json"
)

func main() {
	var db *sql.DB
	var err error
	var stmt *sql.Stmt
	var res sql.Result
	var str = struct {
		Hello string `json:"hello"`
	}{"world"}
	var data, _ = json.Marshal(str)

	if db, err = sql.Open("mysql", "root:root@/test"); err != nil {
		panic(err)
	}

	if stmt, err = db.Prepare("INSERT INTO test (data) VALUES (?)"); err != nil {
		panic(err)
	}

	if res, err = stmt.Exec(data); err != nil {
		panic(err)
	}

	fmt.Printf("%v", res)
}

все записало

Написано более трёх лет назад

RidgeA @RidgeA

Возможно причина в том, что база сама не в utf8, т. к. collation это не то же самое что и кодировка

Collation - это набор правил сравнения, но это не означает, что строки в БД хранятся в какой-то определенной кодировке.
https://dev.mysql.com/doc/refman/5.7/en/charset-ge...

Написано более трёх лет назад
Юлия Коваленко @kovalenko_jul_s Автор вопроса

RidgeA: слово "world" и у меня запишет) я не это спрашивала

Написано более трёх лет назад
RidgeA @RidgeA
да, согласен, мой косяк

но я заменил
var str = struct { Hello string `json:"hello"` }{"world"}

на
var str = struct { Hello string `json:"hello"` }{"привет"}

и результат тот же - все работает.

Покажите хотя бы что должно попасть в БД и
show create DATABASE ... show create table ...
Написано более трёх лет назад
Юлия Коваленко @kovalenko_jul_s Автор вопроса

RidgeA: и слово привет тоже запишется нормально... Прочитайте ответ к вопросу.

Написано более трёх лет назад
RidgeA @RidgeA

Да, откуда я мог знать, что там эмоджи :-)
Может имеет смысл использовать BLOB, если это возможно ?

Написано более трёх лет назад
Юлия Коваленко @kovalenko_jul_s Автор вопроса

RidgeA: мне подошло решение просто сменить кодировку на utf8mb4)

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Go

Сложный
Как двигать фиксированный курсор в игре чтобы получить эффект движения мышью?
- 1 подписчик
- 10 часов назад
- 38 просмотров
0

ответов
MySQL

+1 ещё

Простой
Как извлечь топ 15 очков из таблицы чтобы игроки не дублировались?
- 1 подписчик
- 22 апр.
- 116 просмотров
1

ответ
Go

Простой
Что означает запись [4]byte в языке Go?
- 1 подписчик
- 22 апр.
- 149 просмотров
3

ответа
MySQL

Простой
Как сохранить mysql базу?
- 1 подписчик
- 21 апр.
- 92 просмотра
1

ответ
PHP

+1 ещё

Простой
Как исправить ошибку Uncaught Error: Call to undefined function mysql_real_escape_string?
- 1 подписчик
- 21 апр.
- 103 просмотра
3

ответа
PHP

+2 ещё

Средний
Ошибка при регистрации PHP, в Unity, что делать?
- 1 подписчик
- 20 апр.
- 99 просмотров
1

ответ
MySQL

Простой
Объясните CASE WHEN THEN?
- 1 подписчик
- 20 апр.
- 107 просмотров
2

ответа
MySQL

Простой
Как обновить определенные значения в базе, в зависимости от значения переменной?
- 1 подписчик
- 20 апр.
- 42 просмотра
1

ответ
Парсинг

+1 ещё

Средний
Как правильно написать функцию IMPORTJSON для парсинга цен криптовалют в гугл таблицу?
- 1 подписчик
- 19 апр.
- 25 просмотров
0

ответов
PHP

+2 ещё

Простой
Как в Drupal 10 массово проставить noindex для >1000 страниц?
- 1 подписчик
- 18 апр.
- 57 просмотров
2

ответа
Показать ещё Загружается…

Программист C++ Builder / базы данных MySQL

RU Electronics • Москва

от 180 000 до 200 000 ₽

Инженер технической поддержки с английским языком и знанием PHP/MySQL

IT-Aces

от 100 000 до 150 000 ₽

PHP FullStack Developer (Middle+)

ГК «Талант» • Сочи

от 100 000 до 200 000 ₽

Пройти верификацию по лицу используя нейросеть, вебкамеру и эмулятор

25 апр. 2024, в 20:34

350000 руб./за проект

Доработка Django приложения и исправление ошибок конфигурации

25 апр. 2024, в 20:14

1000 руб./за проект

Завершение разработки проекта на CS2

25 апр. 2024, в 20:02

100000 руб./за проект

Answer 1 · 2017-05-25 13:20:54

Проблема в emoji. Некоторые из них кодируются 4 битами.

Нашла 2 решения.

1ое:

ALTER TABLE my_table MODIFY data LONGTEXT CHARACTER SET utf8mb4;

2ое:

func RemoveEmoji(str string) string {
    var emojiiPattern = "[\\x{1f004}\\x{1f0cf}\\x{1f170}\\x{1f171}\\x{1f17e}\\x{1f17f}\\x{1f18e}\\x{1f191}-\\x{1f19a}\\x{1f201}\\x{1f202}\\x{1f21a}\\x{1f22f}\\x{1f232}-\\x{1f23a}\\x{1f250}\\x{1f251}\\x{1f300}-\\x{1f321}\\x{1f324}-\\x{1f393}\\x{1f396}\\x{1f397}\\x{1f399}-\\x{1f39b}\\x{1f39e}-\\x{1f3f0}\\x{1f3f3}-\\x{1f3f5}\\x{1f3f7}-\\x{1f4fd}\\x{1f4ff}-\\x{1f53d}\\x{1f549}-\\x{1f54e}\\x{1f550}-\\x{1f567}\\x{1f56f}\\x{1f570}\\x{1f573}-\\x{1f579}\\x{1f587}\\x{1f58a}-\\x{1f58d}\\x{1f590}\\x{1f595}\\x{1f596}\\x{1f5a5}\\x{1f5a8}\\x{1f5b1}\\x{1f5b2}\\x{1f5bc}\\x{1f5c2}-\\x{1f5c4}\\x{1f5d1}-\\x{1f5d3}\\x{1f5dc}-\\x{1f5de}\\x{1f5e1}\\x{1f5e3}\\x{1f5ef}\\x{1f5f3}\\x{1f5fa}-\\x{1f64f}\\x{1f680}-\\x{1f6c5}\\x{1f6cb}-\\x{1f6d0}\\x{1f6e0}-\\x{1f6e5}\\x{1f6e9}\\x{1f6eb}\\x{1f6ec}\\x{1f6f0}\\x{1f6f3}\\x{1f910}-\\x{1f918}\\x{1f980}-\\x{1f984}\\x{1f9c0}]|\\x{1f1e6}[\\x{1f1e8}-\\x{1f1ec}\\x{1f1ee}\\x{1f1f1}\\x{1f1f2}\\x{1f1f4}\\x{1f1f6}-\\x{1f1fa}\\x{1f1fc}\\x{1f1fd}\\x{1f1ff}]|\\x{1f1e7}[\\x{1f1e6}\\x{1f1e7}\\x{1f1e9}-\\x{1f1ef}\\x{1f1f1}-\\x{1f1f4}\\x{1f1f6}-\\x{1f1f9}\\x{1f1fb}\\x{1f1fc}\\x{1f1fe}\\x{1f1ff}]|\\x{1f1e8}[\\x{1f1e6}\\x{1f1e8}\\x{1f1e9}\\x{1f1eb}-\\x{1f1ee}\\x{1f1f0}-\\x{1f1f5}\\x{1f1f7}\\x{1f1fa}-\\x{1f1ff}]|\\x{1f1e9}[\\x{1f1ea}\\x{1f1ec}\\x{1f1ef}\\x{1f1f0}\\x{1f1f2}\\x{1f1f4}\\x{1f1ff}]|\\x{1f1ea}[\\x{1f1e6}\\x{1f1e8}\\x{1f1ea}\\x{1f1ec}\\x{1f1ed}\\x{1f1f7}-\\x{1f1fa}]|\\x{1f1eb}[\\x{1f1ee}-\\x{1f1f0}\\x{1f1f2}\\x{1f1f4}\\x{1f1f7}]|\\x{1f1ec}[\\x{1f1e6}\\x{1f1e7}\\x{1f1e9}-\\x{1f1ee}\\x{1f1f1}-\\x{1f1f3}\\x{1f1f5}-\\x{1f1fa}\\x{1f1fc}\\x{1f1fe}]|\\x{1f1ed}[\\x{1f1f0}\\x{1f1f2}\\x{1f1f3}\\x{1f1f7}\\x{1f1f9}\\x{1f1fa}]|\\x{1f1ee}[\\x{1f1e8}-\\x{1f1ea}\\x{1f1f1}-\\x{1f1f4}\\x{1f1f6}-\\x{1f1f9}]|\\x{1f1ef}[\\x{1f1ea}\\x{1f1f2}\\x{1f1f4}\\x{1f1f5}]|\\x{1f1f0}[\\x{1f1ea}\\x{1f1ec}-\\x{1f1ee}\\x{1f1f2}\\x{1f1f3}\\x{1f1f5}\\x{1f1f7}\\x{1f1fc}\\x{1f1fe}\\x{1f1ff}]|\\x{1f1f1}[\\x{1f1e6}-\\x{1f1e8}\\x{1f1ee}\\x{1f1f0}\\x{1f1f7}-\\x{1f1fb}\\x{1f1fe}]|\\x{1f1f2}[\\x{1f1e6}\\x{1f1e8}-\\x{1f1ed}\\x{1f1f0}-\\x{1f1ff}]|\\x{1f1f3}[\\x{1f1e6}\\x{1f1e8}\\x{1f1ea}-\\x{1f1ec}\\x{1f1ee}\\x{1f1f1}\\x{1f1f4}\\x{1f1f5}\\x{1f1f7}\\x{1f1fa}\\x{1f1ff}]|\\x{1f1f4}\\x{1f1f2}|\\x{1f1f5}[\\x{1f1e6}\\x{1f1ea}-\\x{1f1ed}\\x{1f1f0}-\\x{1f1f3}\\x{1f1f7}-\\x{1f1f9}\\x{1f1fc}\\x{1f1fe}]|\\x{1f1f6}\\x{1f1e6}|\\x{1f1f7}[\\x{1f1ea}\\x{1f1f4}\\x{1f1f8}\\x{1f1fa}\\x{1f1fc}]|\\x{1f1f8}[\\x{1f1e6}-\\x{1f1ea}\\x{1f1ec}-\\x{1f1f4}\\x{1f1f7}-\\x{1f1f9}\\x{1f1fb}\\x{1f1fd}-\\x{1f1ff}]|\\x{1f1f9}[\\x{1f1e6}\\x{1f1e8}\\x{1f1e9}\\x{1f1eb}-\\x{1f1ed}\\x{1f1ef}-\\x{1f1f4}\\x{1f1f7}\\x{1f1f9}\\x{1f1fb}\\x{1f1fc}\\x{1f1ff}]|\\x{1f1fa}[\\x{1f1e6}\\x{1f1ec}\\x{1f1f2}\\x{1f1f8}\\x{1f1fe}\\x{1f1ff}]|\\x{1f1fb}[\\x{1f1e6}\\x{1f1e8}\\x{1f1ea}\\x{1f1ec}\\x{1f1ee}\\x{1f1f3}\\x{1f1fa}]|\\x{1f1fc}[\\x{1f1eb}\\x{1f1f8}]|\\x{1f1fd}\\x{1f1f0}|\\x{1f1fe}[\\x{1f1ea}\\x{1f1f9}]|\\x{1f1ff}[\\x{1f1e6}\\x{1f1f2}\\x{1f1fc}]";
    var emojiRx = regexp.MustCompile(emojiiPattern)
    return emojiRx.ReplaceAllString(str, `[emoji]`)
}

Но это слишком долго работает.

Answer 2 · 2017-05-24 17:38:07

RidgeA @RidgeA

не уверен, но может быть из-за того, что data_json это []byte

Ответ написан более трёх лет назад

8 комментариев

Как в Golang записывать в MySql Unicode?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт