jKoeber.de » mysql

MySql 5, my.cnf und InnoDB DISABLED

lyrixx — Mon, 30 Aug 2010 11:47:54 +0000

2 Tage suchen hat endlich ein Ende. Ich habe einen standard Fehler gehabt. Und war wieder Stunden um Stunden am Suchen. Die Lösung des Problems erscheint einem wieder einfach wenn man weiß auf was zu achten ist. Aber zuerst einmal mein Problem.

Ich habe am Freitag ein Testsystem im Haus neu konfigurieren müssen. Der Festplattenspeicher hat nicht mehr ausgereicht und so wurde ich dazu gezwungen eine neue virtuelle Platte dem System hinzuzufügen. Ich wollte kein LVM aufsetzen und möglichen Datenverlust beim erstellen und resizen von Platten zu riskieren. Nachdem das Debian System auch auf einem älteren Stand war und die Etch Version nicht mehr supported wird habe ich kurzerhand das ganze System auf Lenny geupgradet.

Meine my.cnf:

# Example MySQL config file for very large systems.
#
# This is for a large system with memory of 1G-2G where the system runs mainly
# MySQL.
#
# You can copy this file to
# /etc/my.cnf to set global options,
# mysql-data-dir/my.cnf to set server-specific options (in this
# installation this directory is /usr/local/mysql/var) or
# ~/.my.cnf to set user-specific options.
#
# In this file, you can use all long options that a program supports.
# If you want to know which options a program supports, run the program
# with the “–help” option.

# The following options will be passed to all MySQL clients
[client]
#password = your_password
#host = 0.0.0.0
port = 3306
socket = /var/run/mysqld/mysqld.sock

# Here follows entries for some specific programs

# The MySQL server
[mysqld]
port = 3306
socket = /var/run/mysqld/mysqld.sock
# skip-locking
key_buffer = 384M
max_allowed_packet = 1M
table_cache = 512
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 8M
myisam_sort_buffer_size = 64M
thread_cache_size = 8
query_cache_size = 32M
# Try number of CPU’s*2 for thread_concurrency
thread_concurrency = 8
datadir = /hdd/mysql/mysql
tmpdir = /hdd/mysql/tmp
language = /usr/share/mysql/german
log = /hdd/mysql/log/mysql.log
log_error = /hdd/mysql/log/error.log

#collation_database = utf8_unicode_ci
#collation_server = utf8_unicode_ci

# Don’t listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (via the “enable-named-pipe” option) will render mysqld useless!
#
#skip-networking

# Disable Federated by default
# skip-federated

# Replication Master Server (default)
# binary logging is required for replication
# log-bin=mysql-bin

# required unique id between 1 and 2^32 – 1
# defaults to 1 if master-host is not set
# but will not function as a master if omitted
# server-id = 1

# Replication Slave (comment out master section to use this)
#
# To configure this host as a replication slave, you can choose between
# two methods :
#
# 1) Use the CHANGE MASTER TO command (fully described in our manual) -
# the syntax is:
#
# CHANGE MASTER TO MASTER_HOST=, MASTER_PORT= ,
# MASTER_USER=, MASTER_PASSWORD= ;
#
# where you replace , , by quoted strings and
# by the master’s port number (3306 by default).
#
# Example:
#
# CHANGE MASTER TO MASTER_HOST=’125.564.12.1′, MASTER_PORT=3306,
# MASTER_USER=’joe’, MASTER_PASSWORD=’secret’;
#
# OR
#
# 2) Set the variables below. However, in case you choose this method, then
# start replication for the first time (even unsuccessfully, for example
# if you mistyped the password in master-password and the slave fails to
# connect), the slave will create a master.info file, and any later
# change in this file to the variables’ values below will be ignored and
# overridden by the content of the master.info file, unless you shutdown
# the slave server, delete master.info and restart the slaver server.
# For that reason, you may want to leave the lines below untouched
# (commented) and instead use CHANGE MASTER TO (see above)
#
# required unique id between 2 and 2^32 – 1
# (and different from the master)
# defaults to 2 if master-host is set
# but will not function as a slave if omitted
#server-id = 2
#
# The replication master for this slave – required
#master-host =
#
# The username the slave will use for authentication when connecting
# to the master – required
#master-user =
#
# The password the slave will authenticate with when connecting to
# the master – required
#master-password = #
# The port the master is listening on.
# optional – defaults to 3306
#master-port = #
# binary logging – not required for slaves, but recommended
#log-bin=mysql-bin
#
# binary logging format – mixed recommended
#binlog_format=mixed

# Point the following paths to different dedicated disks
#tmpdir = /tmp/
#log-update = /path-to-dedicated-directory/hostname

# Uncomment the following if you are using InnoDB tables
innodb_data_home_dir = /hdd/mysql/mysql/
innodb_data_file_path = ibdata1:200M;ibdata2:10M:autoextend
innodb_log_group_home_dir = /hdd/mysql/log/
innodb_log_arch_dir = /hdd/mysql/log/
innodb_log_archive = ON
innodb_rollback_on_timeout = ON
# You can set .._buffer_pool_size up to 50 – 80 %
# of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 384M
innodb_additional_mem_pool_size = 20M
innodb_file_per_table = ON
# Set .._log_file_size to 25 % of buffer pool size
innodb_log_file_size = 20M
innodb_log_buffer_size = 8M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[isamchk]
key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

In der ganzen Config wurde das System so aufgebaut das auf alle Fälle innodb verfügbar sein muss. Es war aber ein Problem mit den ibdata1, ibdata2 und den zugehörigen log files von innodb die es erst unmöglich gemacht haben die Engine richtig zu starten. Anhand der wieder eingefügten log_error wurde das Problem in kürzester Zeit gelöst. ib_logfile1 und ib_logfile2 waren die Ursache des Problems. Der standard Lösungsansatz zum wiederaktivieren der InnoDB Engine war das Löschen der ibdata1 & ibdata2. Wenn aber der Fehler weiterhin existiert liegt es an den Logfiles des MySQL Servers.

Als aller erstes Server stoppen, mein Fehler war es das der Server beim wiederkonfigurieren des Systems nicht angehalten hatte.
Zweitens, alle Daten verschieben und my.cnf anpassen.
Drittens ibdata1 & ibdata2 incl. ib_logfile1 & ib_lofile2 löschen sonst wird die Engine wieder deaktiviert.
Zu guter letzt startet den Server wieder und habt viel Spaß mit dem System.

Glassfish + EJB3 + Client Connection

lyrixx — Tue, 28 Jul 2009 13:34:54 +0000

So mein zweiter Erfolgreicher Versuch. Dieses mal mit Netbeans, aber auch nur der Perfomance halber. Sollte im Ansatz genau das gleiche sein wie im Eclipse. Glassfish unterstütz zur Remote Method Invocation IIOP. Der Lookup lässt euch die Pakete einfach aufrufen und benutzen.

Nachdem ihr euer Projekt angelegt habt (Java Application), klickt rechts auf das Projekt und fügt in den Libaries folgende hinzu:

appserver-rt.jar und javaee.jar damit die Aufrufe für den folgenden Codeschnipsel nicht daneben gehen. Ich selber war teilweise zu Faul die Anleitung bei Glassfish genauer zu lesen und daher fast eine Stunde mit Sucherei verbracht bis ich mir diese doch mal ausführlicher zu gemütge gezogen habe. Hier der Link zur Dokumentation falls die orginal euch eher interessiert.

Auf der Glassfish Seite werden sowohl die EJB 3.0 Connections als auch die EJB 2.0 Verbindungen behandelt.

Aber zurück zu meinem Kleinen Beispiel. Einem LookUp auf meinen Server.

Kurz zur Struktur, ein lokaler Glassfish läuft mit einem Connection Pool auf einen entfernte Datenbank. (MySql) in meinem Fall. hab es aber auch schon mit einer Oracle Express ausprobiert ohne Probleme.

Der Client wird ebenfalls lokal vom gleichen Rechner wie der Glassfish – Server ausgeführt. Später werde ich diesen auch per Netzwerk aufrufen, um dies ausführlich zu testen.

Properties props = new Properties();
props.setProperty(“java.naming.factory.initial”, “com.sun.enterprise.naming.SerialInitContextFactory”);
props.setProperty(“java.naming.factory.url.pkgs”, “com.sun.enterprise.naming”);
props.setProperty(“java.naming.factory.state”, “com.sun.corba.ee.impl.presentation.rmi.JNDIStateFactoryImpl”);
// optional. Defaults to localhost. Only needed if web server is running
// on a different host than the appserver
props.setProperty(“org.omg.CORBA.ORBInitialHost”, “localhost”);
// optional. Defaults to 3700. Only needed if target orb port is not 3700.
props.setProperty(“org.omg.CORBA.ORBInitialPort”, “3700″);
InitialContext ic = new InitialContext(props);

// lookup for serialized container
userBean = (userBeanRemote) ic.lookup(“userBeanRemote”);

Der Codeschnipsel zum Verbinden auf das Remote Interface der EJB3 der vom Glassfish zur verfügung gestellt wird. Der CORBA Lookup dauert beim Aufbau etwas länger da die Verbindung erst gesucht werden muss. Sobald diese aber steht, funktioniert es mit einer sehr hohen Performance.

Auf der anderen Seite steht der Glassfish mit dem userBean und dem dazugehörenden remote Interface: userBeanRemote in meinem Fall.

Falls Fehler enstehen die darauf deuten das eine Klasse nicht geladen werden kann, sind entweder die beiden JAR Files (javaee etc.) nicht erreichbar, oder die Verbindung kann nicht aufgebaut werden, wobei man das recht einfach aufschlüsseln kann.

RMI / IIOP Eclipse Glassfish and EJB3

lyrixx — Sun, 28 Jun 2009 01:10:18 +0000

Einen wunderschönen Sonntag Morgen an alle. Nachdem ich nunmehr seit knapp 18 Stunden vorm Rechner häng und jetzt auch so gut wie fertig bin. Noch ein kleiner Blogeintrag zum Thema RMI / IIOP und Datenübertragung durch serialisierte Klassen über den JNDI.
Wir hatten heute Serverumzug und in den “Wartezeiten” konnte ich einige nützliche Dinge herausfinden, so auch die Kommunikation von RMI Umsetzung mit Glassfish in Eclipse nachdem die Projektverwaltung im Netbeans nicht so meinen Geschmack entsprochen hatte. Dank der überaus guten Einarbeitung in letzter Zeit hat lediglich die Übermüdung meinerseits zu kleineren Fehler geführt.
Einzig und allein die Serververwaltung in eclipse für Glassfish ist nicht ganz so rosig, da die Steuerung zwischen Domain und Server in Eclipse nicht so wirklich ausgereift ist.
Aber jetzt zum eigentlichen Thema: RMI / IIOP Konfiguration im unabhängigen Client

Properties props = new Properties();
props.setProperty(“java.naming.factory.initial”,
“com.sun.enterprise.naming.SerialInitContextFactory”);
props.setProperty(“java.naming.factory.url.pkgs”,
“com.sun.enterprise.naming”);
props.setProperty(“java.naming.factory.state”,
“com.sun.corba.ee.impl.presentation.rmi.JNDIStateFactoryImpl”);

// optional. Defaults to localhost. Only needed if web server is running
// on a different host than the appserver
props.setProperty(“org.omg.CORBA.ORBInitialHost”, “localhost”);

// optional. Defaults to 3700. Only needed if target orb port is not 3700.
props.setProperty(“org.omg.CORBA.ORBInitialPort”, “3700″);

try {
InitialContext ic = new InitialContext(props);
this.foo = (Test) ic.lookup(“de.jk.package.bean.remote.Test”);
} catch (NamingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}

Der Aufruf ist fast intuitiv, das EJB3 Remote Interface wird per JNDI Aufruf auf den jeweiligen Server serialisiert übertragen und im Client verwendet. Standard Glassfish Port ist hierbei die 3700 der Server in meinem Fall localhost und mein Interface das “geladen” werden soll de.jk.package.bean.remote.Test der volle Name muss angegeben werden da sonst das Interface nicht gefunden wird, ich hab lang genug herumprobiert ob man es auch anders erreichen könnte, aber keine Chance. Also Packagename + RemoteInterfaceClassName.

Ich würde euch gerne ein paar Screenshots davon zeigen, aber nachdem dieser Blogeintrag anhand eines reellen Projekte entstand, wird das vorerst ausbleiben, falls ich morgen die geistige “Frische” erreiche und mich dazu durchringen kann, werde ich noch eine kleine Demoapplikation veröffentlichen und hier zum Download anbieten.

Sehr nützlich war der Link von Sun die es einwandfrei beschreibt. Zum Artikel

JSF Tipp: Übergabe von “Hidden Values”

lyrixx — Tue, 16 Jun 2009 12:52:00 +0000

Ich habe heute mal wieder etwas Zeit mein kleines Projekt voran zu treiben. Bei diesen Gelegenheiten stößt man wie immer schnell an ein kleines Prolbem. Wie übergebe ich z.b. eine Id von A nach B in einem Hiddenfield da es den Endbenutzer nicht zu interessieren hat.
Wenn man mit PHP und Html arbeitet deklariert man ein

und ruft es mit PHP ab:

if(isset($_POST['action']) {

echo $_POST['hiddenField'];

}

?>

Im JEE Verfahren mit JavaServer Faces ist das ganze etwas anders, aber sobald man sich daran gewöhnt hat doch um einiges einfacher, da man beliebig viele Properties dem Action Listener dazu geben kann.

Hier zur Lösung

Twitter, Informationen mit 140 Zeichen

lyrixx — Mon, 15 Jun 2009 09:11:05 +0000

Wenn es um Twitter geht sehen es viele Leute als Freizeitbeschäftigung und vorallem als Spielzeug der modernen Zeit. Viele betiteln es auch als kurzen Hype der durch die Medien geht. Ich bin eigenltich auch eher der Meinung das es ein Hype sein könnte wenn Twitter nicht bald etwas “neues” bringt. Eine Erweiterung vorallem für Unternehmen. Für Premium Accounts etc. Was vorallem nervig wird sind die Followers die zur Vielzahl nur noch aus Bots bestehen die bei bestimmten Keywords einen auf die Follower Liste klatschen und versuchen das man das gleiche tätigt.

Auch für die Cyber – Kriminalität dürft Twitter ein gefundenes Fressen sein. Da immer mehr Cracker sich auf diesen Dienst spezialisieren. Bei dem enormen Wachstum der Plattform auch kein Wunder.

Heise News diesbezüglich: Zum Artikel

Es gibt teilweise schon Unternehmen die start mit Twitter ihren Umsatz ankurbeln, Dell bietet eines der Beispiele und auch andere haben den Dienst schon für ihr Marketing im Visier.

Um den 140 Zeichen Dienst tummeln sich mitlerweile unzähliche weitere Dienste die Twitter nutzen um “Freundesbäume”, “Bekanntschafen” oder “Informationen” Detailiert zu tauschen und zu veröffenltichen.

Für Wertpapierinteressenten oder Börsenfunktionären gibt es z.b. Stocktwits.com die Twitter für Börsennews nutzen. Mit unterschiedlicher software wie twhirl wird man stetig auf dem laufenden gehalten.

Man kann viel Information mit 140 Zeichen transportieren und das junge “Startup” beweist es. Ich werde mich weiter mit Twitter und neuen Technologien beschäftigen um vllt. doch noch den ein oder anderen “Hype” früher zu entdecken.

IBM for a smarter Planet

lyrixx — Sun, 14 Jun 2009 21:34:10 +0000

Nachdem die Welt immer kleiner wird durch neue Technologien und sollte man die Realität nicht aus dem Auge verlieren.

Die Welt wir immer komplexer, Infrastruktur und Mensch müssen zusammen arbeiten um eine smartere Welt zu bilden. IBM will jetzt mit viel Einsatz dieses Ziel verwirklichen. Es ist doch nervig für jeden der mal in einer der größeren Städe “tagsüber” unterwegs war. München eine Katastrophe oder dann auch schon in Nürnberg teilweise zum schreien. Was mich verrückt macht, macht auch viele andere wahnsinnig und IBM arbeitet an Lösungen.

Twitter ist mitlerweile ein sehr interessantes Informationsmedium geworden vorallem wenn man Leuten folgt die sich für die neusten Technologien begesitern und auch das Leben. IBM fängt in den Städen an und versucht durch z.b. intelligente Mautsystemen den Verkehr zu kontrollieren. http://www-05.ibm.com/de/pov/stockholm/ Smart – Cities hört sich doch schon mal ganz spannend an.

Die Finanzkrise war ein deutlicher Weckruf. Schlagartig hat sie uns die Augen für die Gefahren hoch komplexer globaler Systeme geöffnet. Im ersten Jahrzehnt des 21. Jahrhunderts gab es eine ganze Serie solcher Weckrufe. Ihr gemeinsamer Nenner: die globale Integration wird Wirklichkeit – mit zum Teil schwer vorhersehbaren Folgen.

Zu diesen Folgen einer umfassend vernetzten Welt gehören viele Probleme, die uns seit dem Beginn des Jahrzehnts beschäftigen: Klimawandel, Energie, die weltweite Versorgung mit Nahrungsmitteln und Medizin, neue Bedrohungen von Online-Kriminalität bis Terrorismus.

Wir müssen einsehen, dass „vernetzt sein“ alleine nicht genügt. Es genügt nicht, dass die Welt immer „kleiner“ und „flacher“ wird. Zum Glück zeichnet sich noch eine weitere, viel versprechende Entwicklung ab: die Welt wird “smarter”.

Soll heißen, Intelligenz durchdringt zusehends die Abläufe unserer Welt: all die Prozesse, Systeme, Infrastrukturen, die wir brauchen, um Produkte zu entwickeln und zu produzieren; um den Austausch von Waren, Leistungen und Kapital, von Geld, Öl, Wasser oder Informationen zu erleichtern.

Zum Artikel

MySql Performance Tuning

lyrixx — Wed, 03 Jun 2009 07:34:12 +0000

Die Parameter key_buffer_size und table_cache sind die wohl wichtigsten performance Variablen. Diese geben an wieviel Speicher MySQL zur Verfügung steht, um Tabellen und Schlüssel zu speichern.
Auf Systemen mit > 2 GB-Ram – wobei man auf seine MySql Version achten sollte, da die standard 32 Bit MySql max. 3,xx GB RAM unterstützt - und vielen Datenbanken sind folgende Einstellungen zu empfehlen:
key_buffer=128M table_cache=512 sort_buffer=15M

Für Systeme mit moderater RAM-Ausstattung (256 MB - 2 GB) oder wenig Datenbanken sind diese Settings empfehlenswert:

key_buffer=64M table_cache=256 (fuer >= 256MB RAM) oder table_cache=128 (fuer 256MB Ram)
Für diese Systeme reicht auch ein kleiner sort_buffer mit 4 – 8M.

Glassfish vs. jBoss

lyrixx — Mon, 11 May 2009 15:26:11 +0000

Ich habe heute mal Glassfish und jBoss im Test auf meinem Rechner. Nachdem der jBoss zwar ein mächtiges Werkzeug ist aber für viele Anwendungen einfach zu viel beherrscht und auch gar nicht genutzt wird, habe ich mich vorerst für den kleinere Konkurenten Glassfish entschieden. Durch die Übernahme von SUN sollte sich auch Glassfish in den kommenden Versionen zu einer 1A Kombination mit MySql entwickeln. Die Oberfläche des Glassfish Application Server ist super übersichtlich und nach nur ein paar Minuten einsatzbereit. Deployen von Applications funktioniert ohne Probleme und auch Connection Pools erstellt man im Handumdrehen. jBoss dagegen setzt noch auf die, doch meist unzuverlässige Handarbeit wert. Man benötigt unter anderem länger als dass auch die Fehlerquote sehr hoch sein kann. Im Starten der Maschine hat auch wieder Glassfish die Nase vorne. Innerhalb von 40 Sekunden ist er voll einsatzfähig und deployed die ersten Applications. Der jBoss startet zwar fast in der selben Geschwindigkeit, ist aber vom Poolingaufbau und controlling etwas schwerfälliger und langsamer. Statefull – Session – Binding ist bei einer Maschine ohne ausreichenden RAM nicht zu empfehlen da dieser Prozess pro Client die Beans initialisiert und Clientgebunden ausliefert. Für “schwachbrüstige” – Developer Maschinen greife ich daher die nächste Zeit zum Glassfish als Appserver. Solange jBoss es nicht schafft eine anständige Console zur Konfiguration des Server zur verfügung zu stellen, und mein Rechner auf der Arbeit weiterhin fast den Geist aufgibt sobald man versucht den jBoss zu starten.

jBoss, Hibernate und MySql (No Dialect mapping for JDBC type: -1)

lyrixx — Mon, 20 Apr 2009 09:32:12 +0000

Und wieder mal ein Fehler und Problem aufgedeckt. MySql und deren spezielle Datentypen TEXT/MEDIUMTEXT und TINYTEXT sind abarten von VARCHAR text-typen. Man bekommt einen Fehler der ähnlich diesem aufgebaut sein wird, wenn in der Datenbank bzw. in der Tabelle “TEXT()” Columns verwendet werden:

No Dialect mapping for JDBC type: -1

Dieser Fehler deutet daraufhin, dass versucht wird ein Datentyp zu lesen den Hibernate nicht kennt. Und dieser neu gemappt werden müsste als longvarchar. Ich habe das ganze, indem ich TEXT() auf ein VARCHAR(10000) geändert hab umgangen.

jGrab Server 0.1.8 fertig

lyrixx — Wed, 15 Apr 2009 08:41:05 +0000

Nach ein paar kleinere Fehlern und Reportingübearbeitungen jetzt die neue Version des RSS Servers online. Version 0.1.8 sollte um einiges stabiler laufen, da bis zu 30% an SQL-Abfragen gespart werden und somit die Last auch auf den Datenbankserver um ein vielfaches verringert wird.

Ich wünsche noch einen schönenen Mittwoch.

freundliche Grüße